羊駝出沒!Meta 的開源策略與大型語言模型 LLaMA 的潛力!
LLaMA 深度剖析:Meta 的創新門檻
或許你對 LLaMA 這個名字感到陌生,實則它是 Meta 在 2023 年呈現給大眾的一種全新的大型語言模型。源自英文的「羊駝」,其特殊性和顛覆性,恰如其名字一樣引人注目。不過 LLaMA 在正式亮相前卻遭遇洩漏風波,社群引起軒然大波,並有眾多開發者開始撰寫相關程式碼。雖然 Meta 嘗試在各大網站中將其下架,然而仍無法完全遏止相關程式的如雨後春筍般冒出。於是, Meta 不得不將 LLaMA 開放源碼,然而模型的完全權重(weights)仍需向 Meta 申請獲取。
LLaMA 與以往必須依賴伺服器級別硬體才能運行的大型語言模型(例如:OpenAI 的 ChatGPT)大不相同,它能夠在個人電腦上順利運行,將 AI 對話的可能性拓展至日常生活的各個場景,這一創新打破了過去大型語言模型的運用門檻。
LLaMA 有何獨到之處?
LLaMA 的優勢之一在於其對硬體的低要求。Meta 設計了多種尺度的 LLaMA 模型,包含 7B、 13B、 30B和 65B 等,其中最小的 7B 模型只需要 4GB 的 RAM 即可順利運行,甚至能在無顯卡的情況下僅靠 CPU 運作。這意味著即便是個人電腦或是手機等硬體資源相對有限的裝置,也可以運行大型語言模型,這在過去可說是難以想像。
另一方面,有了 LLaMA,使用者在與 AI 對話時不再受制於特定廠商,可以自由提出問題並得到回應。除非模型本身加入道德機制,否則不需特別「越獄」便能繞過道德限制。然而,由於其訓練參數並未達到 ChatGPT 的水平,所以不應期待其回答品質能超越ChatGPT。
深度探索基於 LLaMA 的大型語言模型
LLaMA 的誕生,為語言模型的進步開啟了新的篇章,衍生出許多基於 LLaMA 訓練的模型。接下來我們將介紹其中一些代表性的模型:
Stanford Alpaca :由史丹佛大學研發,這是一個基於 LLaMA 和 text-davinci-003 訓練的模型。此模型能如 GPT-3 模型一般聽從使用者的指示,且不需要高階硬體支援就能在個人電腦上運作。
StableVicuna :由 Stability AI 所推出,這個模型是基於 LLaMA 和 ShareGPT 微調的,並透過 GPT-4 來進行評估。該模型據稱能在 90% 的情況下超越原始的 LLaMA,展現出其強大的性能。
HuaTuo:是由 Nomic AI 開發的模型,該模型基於 LLaMA 和 800k GPT-3.5-Turbo 進行訓練。同時,也有運用 LoRA(Low Rank Adaption) 技術微調的大型語言模型,例如:中文 LLaMA 模型和 Alpaca 大模型,這使得大型語言模型能夠以多種語言進行對話,進一步拓展了其應用範圍。
LLaMA 開創人工智慧新未來
總結來說,LLaMA 的出現不只帶來一種可在個人電腦上運行的大型語言模型,也激發了許多基於 LLaMA 的新模型的開發。這些新模型進一步豐富了大型語言模型的應用領域,也為人工智能的未來開啟了新的可能性。
參考資訊:本文部分資訊由 AI 整理為參考所撰寫之報導。
GPT-4 與 Pinecone 共同孕育的 AI 小寶貝: BabyAGI ,陪伴您成長的得力助手!|Accucrazy 肖準行銷
Jarvis 的現實化身:AutoGPT,市場調查與競爭分析的全方位數位諸葛亮!|Accucrazy 肖準行銷
從 AI 到 AIGC :一場革命性的科技進化論,正活生生在我們眼前上演!|Accucrazy 肖準行銷
RLHF :從人類的反饋中學習,引領大型語言模型走向新境界!|Accucrazy 肖準行銷
開啟記憶之鑰:1 分鐘教你掌握 RNN 與 LSTM 數據預測的秘密!|Accucrazy 肖準行銷
想瞭解更多科技行銷相關消息嗎?快追蹤我們吧!
Hello , 我是Jemmy , 一位對未知領域的好奇寶寶。
面對每天接踵而來的新科技,我們能做的除了【恐懼】,更需要去【暸解】。
接下來每個月將透過我個人的角度,分析科技及行銷圈大小事,
帶著大家更深入的方式探討未來科技發展。