現在大模型的江湖，可太熱鬧了。

每個江湖人士，都想練出自家的絕世武功，成為武林盟主（SOTA）。

最初，大家練的都是LLM，大語言模型，這好比是基礎內功。

不要小看基礎內功，練好了也很厲害，比如DeepSeek，到現在還是只練這一招，但一招鮮，也能吃遍天。

基礎內功練起來比較單純：吐納天地靈氣，學習語言、知識、推理、表達。

文本數據=天地靈氣
GPU算力=練功密室
訓練框架=運功心法
參數規模=丹田容量
訓練過程=一遍遍運功周天

這時候的運功心法（訓練框架），只需要把文字內力練厚就行。

比如，著名的Megatron框架，就很適合大語言模型的大規模的分布式訓練準備。

這就好比威力巨大的九陽神功，講究深厚穩定極致性能，只要按照功法修煉，就能把模型練的很強。

但是，這個江湖太卷了，人人都有一本九陽神功，練出來的LLM模型也大差不差。

所以，光卷基礎的LLM內功已經不夠了，必須內外兼修。

所以，真正的武林高手開始卷多模態：LLM+VLM+VLA+Diffusion…

不光內功渾厚，還要開天眼、會身法、暗器、兵器、陣法、實戰樣樣精通，要練就練「全模態神功」。

但是，像Megatron這樣的運功心法，只適合修煉LLM內功的，拿來練全套武學，就有點費勁。

首先是外功種類太多（各種模態、各種場景），一個個單練太慢了，好比刀譜、劍譜（底層代碼）要挨個研究。

第二，多模態不同組件參數差異大，比如視覺組件（ViT）與語言組件（LLM）的參數量相差懸殊，沒法用一刀切的并行策略。

就好比各種外功體量不同，輕功、兵器、暗器，沒法同樣的修煉方法。

第三，數據異構，多模態樣本由單圖、多圖、視頻、純文本混合組成，序列長度差異極，容易導致負載不平衡，訓練卡頓、中斷，集群效率低下。

相當于修煉功夫的練功房/練功密室總被長時間占用，影響修煉進度。

第四，不同門派的練功房還不兼容，練功者要重新適應，其實吃過“異構芯片適配苦”的江湖人士都懂。

這么多困難擺在面前，想要修煉全模態武功，實在太不容易了。

有沒有一種武學寶典，可以跨越這些障礙（模型差異、數據差異、算力差異…），開啟速成之法呢？

我想起電影《倚天屠龍記》里決戰光明頂的一個經典橋段——

張無忌學完「乾坤大挪移」，再學啥功夫都奇快，秒學少林龍爪手，替明教出頭，擊退少林高僧。

嘿嘿，在多模態大模型的修煉領域，也有一套這樣的「乾坤大挪移」秘笈。

這套秘笈，就像一套武學總綱，重點解決↓

不同模型怎么統一管理；
不同組件怎么靈活組合；
不同數據怎么高效分配；
不同硬件怎么一套代碼跑通；
不同訓練策略怎么自動調度，提升算力效率。

這套武功總綱，核心要義就六個字：統一、高效、易用。

具體怎么練呢？我們來看看實戰↓

① 統 一

一套框架覆蓋LLM、VLM、VLA、Diffusion等不同場景，好比每種武功的修煉速成要訣都被總結提煉出來，要不怎么能叫武學總綱。

同時，這也意味著機器人這種“大腦+小腦+數據增強” 的多模型組合式具身智能方案，擁有了統一的訓練基礎設施。

這些“練功要訣”，被總結歸納成20+模型族標準組件。

原生兼容DeepSeek、Qwen、InternVL、LLaVA-OV、ERNIE、MiniMax、MIMO，以及 Pi0.5、GR00T N1.6、WAN等具身智能模型。

從修煉階段看，以前練功，總要從第一層開始。

但這套總綱，貫通了從零基礎練氣（預訓練），到后期一招一式精修（SFT微調）的全過程，無論從哪一層練起可以。

而且，也沒有門派成見，不挑練功房。

無論是中原武林的練功房（國產芯片比如昆侖芯XPU），還是西域武林的修行室（國外芯片比如N家GPU），都可以平滑修煉。

② 高 效

各種功法都能練還不夠，這套乾坤大挪移，還能讓練功效率奇高，主打一個速成。

具體怎么做到的呢，因為它從底到上，做了一系列優化，好比幫每位修煉者打通任督沖三脈。

任脈→LLM基座優化；督脈→多模態針對性優化；沖脈→底層算子加速。

打通“任督沖三脈”后，功法的修煉速度大大提升。

功法修煉快意味著各位大俠提升本領的進程縮短，還意味著練功房的占用時間減少。

這樣，就能為更多的江湖人士提供修煉服務，大家再也不用排長隊了。

③ 易 用

如果，江湖中出現了一門新武功，之前沒有被歸納總結怎么辦？

有了這套「乾坤大挪移」，就很容易觸類旁通，所以，遇到新模型一點都不用慌。

這種觸類旁通的能力，得益于對模型層的統一抽象，模型被拆解為感知編碼層（Encoder）、生成主干層（Foundation）、組合調度層（OminiCombinationModel）三層。

就像修習一門新武功，先把武功拆成練氣、運功、臨場拆招出招，萬變不離其宗。

新模型來了，只需要注冊對應組件，配置、跨層協作的復雜性全部由框架接管，完全不必從頭開始馬步站樁、呼吸吐納。

也就是說，底層代碼完全不用動，適配新模型極其輕松。

好了，這套乾坤大挪移武學總綱的三大要訣，我們就講完了。

如此強悍的秘笈，到底出自何門何派？

這，就是百度百舸發布的全模態訓練框架LoongForge

LoongForge脫胎于百度百舸AIAK訓練加速套件，以Megatron為核心引擎，并針對全模態訓練原生重構。

這個頗具實戰能力的工程框架，目的就是從根本上解決當下多模態訓練的難題。

目前，LoongForge已在GPU與昆侖芯XPU雙平臺、數千卡集群上完成長期生產驗證，支撐 LLM、VLM、VLA等多模態業務落地。

我們再來看看江湖大俠們的實際修煉結果↓

中小規模集群，就可以訓練長序列MoE模型；
DSA架構模型（DeepSeek V3.2，GLM 5等），實現5倍以上性能提升；
主流VLM大模型（Qwen3系列等）普遍實現1.15~1.45倍的端到端訓練加速；
主流具身智能模型（GR00T N1.6，Pi0.5等）實現1.65~2.31倍以上的性能提升；
在5000+卡昆侖芯P800集群上，實現90+%的線性擴展效率。

官網地址：
https://baidu-baige.github.io/LoongForge
GitHub地址：
https://github.com/baidu-baige/LoongForge

當然，還要特別提到的一點，這套“乾坤大挪移”的功法總綱，百度百舸沒有藏著掖著，已經正式開源了！

現在，整個江湖的武林人士都可以拿LoongForge來研習了。

大家一起“邪修”走起唄。