新科技速遞| 首次超越閉源下載火爆 開源大模型迎Linux時刻

[新科技速遞]

Meta開源了史上參數最多的Llama 3.1 405B，參數達4,050億，上下文長度128K，支援8種語言，性能上超越GPT-4o。Meta行政總裁朱克伯格宣佈推出Llama 3.1，與Linux相提並論。朱克伯格認為，Llama 3.1會成為未來創新的基礎技術。

Linux在開源是行業標準，Llama復刻Linux的豪言，含意非同小可。Llama 3.1是迄今Meta開發最大型模型，同時發佈較小的8B和70B，上下文同樣128K，足夠大部分AI應用之用。

開源首超越閉源

Llama 3.1出現，開源模型首次超越了閉源；包括GPT-4o、Gemini 1.5、Claude 3.5 Sonnet等，多個排行榜一致評價，Llama 3.1數學、推理、工具調用（回應中使用外部的工具）和常識，均毫不遜色。

Llama 3.1系列包括基礎模型，以至專門用於對話的Instruct，還有運算速率更快、可减少模型佔用記憶和和儲存的「壓縮量化8 Bit」（8bit Quantization）模型，針對有安全要求的商業應用，Llama 3.1也推出了Prompt Guard，可訓練以防止提示攻擊。Llama 3.1屬於開源，專業程度不遜商用產品，功能堪稱全面，支援實時和批量推理、監督微調（Supervised fine-tuning）、持續的預訓練、RAG、Function calling、生成合成數據（Synthetic data generation）。

為AI應用而生

Llama 3.1在15T量級的Token上訓練，知識截至2023年底，值得一提是後訓練利用了大量合成數據。AI訓練最大難點之一，數據預備和篩選困難，Llama 3.1監督微調利用合生數據，大大降低成本。

Llama 3.1最大意義不在類似Poe般的直接調用， Llama 3.1為AI應用而生，支援工具調用Function calling，結合外部API和第三方應用，打造AI智能體（Agent）和複雜流程。

即使在消費市場，據Meta首席AI科學家楊立昆（Yann LeCun）估計，美國Llama 3.1為基礎的Meta人工智能助手應用，用量在數個月就超越OpenAI的ChatGPT。OpenAI面對激烈競爭，宣佈推出SearchGPT。Google和Perplexity AI已結合了AI和搜尋引擎，Google又在瀏覽器和手機平台佔優勢，OpenAI不易突圍。

千億成本無償使用

Llama 3.1以16,000枚Nvidia頂級性能H100 GPU訓練，每枚H100取價介乎二萬五千至四萬美元，硬件以億美元計，共訓練54天，電力等成本估算約六千萬美元，卻可免費下載及商業應用，Huggingface和Ollama錄得極高下載量，單Ollama已逾40萬，奠定Meta在開源的影響力。

另一特色是Meta公開了長達92頁技術報告，巨細無遺解說了Llama 3.1訓練過程，從訓練數據細節；凖備、處理和收集過程；如何採用合成數據（Synthetic Data），以供二次開發研究人員和機構，外間可窺見整個過程，毫無保留讓外間參考Llama開發過程，或如何微調，有人估計，國內中文基於Llama大模型會有一次大升級。

業內人士估計，LLAMA 3.1出現， Meta完全開源，加上豐富生態支援，國內開發人員不作他想，正進一步鞏固影響力，國內廠商跟不上步伐，隨時有邊緣化的危機。

百度創辦人李彦宏曾指出，開源模型能力會被閉源遠遠甩在身後，開源也不適用於大多數應用場景，話音未落，LLAMA 3.1就橫空出世，一石激起千重浪，橫掃國內多個市場，百度亦迅速跟隨其後。

生態強大無出其右

對AI發展受箝制的地區，開源生態意義尤大。Llama 生態系統強大，主流公有雲包括AWS、Azure、Google支持，國內騰訊、阿里、百度紛紛部署Llama 3.1，加上開源生態，開發幾乎沒門檻。

AI算力平台包括Groq和Modelbit，網上提供算力，直接跑Llama 3.1的AI應用和智能體。微調利用免費Google Colab，通過平台GPU訓練，直接下載和微調，算力又按量計費，只要加入本身數據集，就訓練出對應特定場景的模型；類似Unsloth更提供完整工具，訓練後直接輸出下載至個人電腦上運行，技術門檻極低。

中國AI應用爆發，Llama功能強大免費，開源發展蓬勃，Meta投入了大量資源，國內已無人望其項背，問題是Meta屬美國企業，受制政治風險，一旦無以為繼，再被「卡脖子」時，就要自求多福了。