Meta開源：Llama3.1 405B模型發布

Meta公司推出了其最新的開放源代碼人工智能模型Llama3.1405B。這一發布標志著Meta在推動開放AI領域的堅定承諾。Meta的創始人馬克·扎克伯格詳細闡述了開放源代碼對開發者、Meta以及全球的好處，指出開放源代碼能推動技術進步，讓更多人享受到AI的紅利。

中英文雙語字幕

Llama3.1405B

Meta引入的Llama3.1405B是全球首個開放源代碼前沿級AI模型，其性能和能力堪比業內最頂尖的封閉源代碼模型。Llama3.1405B不僅在靈活性和可控性上具備優勢，還在通用知識、數學、工具使用和多語言翻譯等方面展現出卓越的能力。Meta希望通過這一模型推動創新，特別是在合成數據生成和模型蒸餾方面，為開發者提供前所未有的機會。

Llama模型的生態系統建設

Meta不僅僅致力于開發單一的AI模型，而是打造一個全面的Llama生態系統。公司正在擴展模型的上下文長度至128K，并增加對八種語言的支持。新版的Llama3.1405B以及升級版的8B和70B模型在多語言支持和長文本總結方面展現出強大的能力。此外，Meta還推出了新的安全工具，如LlamaGuard3和PromptGuard，以幫助開發者負責任地構建應用程序。

為支持這一生態系統，Meta與包括AWS、NVIDIA、Databricks、Dell、GoogleCloud等在內的25個合作伙伴攜手合作，這些合作伙伴將在首日提供相關服務。開發者可以在WhatsApp和meta.ai上測試Llama3.1405B模型，體驗其強大的數學和編碼能力。

架構與技術創新

Llama3.1405B是Meta迄今為止最大規模的模型，其訓練過程涉及超過15萬億個tokens，并使用超過16000個H100GPU。為實現如此規模的訓練，Meta在模型架構上作出多項創新，包括采用標準的解碼器僅模型架構以及迭代后訓練程序等。此外，通過從16位（BF16）到8位（FP8）的量化，Meta顯著降低了計算需求，使得405B模型可以在單個服務器節點上運行。

開放源代碼的力量與未來展望

開放源代碼使得Llama模型的權重可以下載，開發者能夠根據自身需求完全定制模型，進行新數據集的訓練或額外的微調。這樣的開放性使得全球開發者能夠更好地發揮生成式AI的潛力，并能夠在不與Meta共享數據的情況下，在任何環境中運行模型。

盡管一些人認為封閉模型更具成本效益，但根據ArtificialAnalysis的測試，Llama模型在行業中提供了一些最低的每token成本。馬克·扎克伯格指出，開放源代碼確保了更多人能夠享受到AI的好處，防止技術權力集中在少數人手中，并使技術能更安全地廣泛部署在社會中。

Meta通過Llama3.1405B的發布，開啟了開放AI的新篇章。通過提供最先進的工具和開放源代碼的支持，Meta正在賦能全球開發者，推動創新和技術進步。我們期待看到社區在這些新模型的支持下，開發出更多有用的新應用和體驗。開放源代碼的力量將繼續推動AI的發展，Meta將繼續在這條道路上前行，致力于為更多人帶來AI的機遇和利益。

▲ 滑動查看往期內容