2026 年的前兩個(gè)月，開(kāi)源大模型的發(fā)布節(jié)奏已快至令人應(yīng)接不暇。Arcee AI 的 Trinity Large、月之暗面的 Kimi K2.5、阿里的 Qwen3.5、智譜 AI 的 GLM-5、Cohere 的 Tiny Aya……它們的名稱(chēng)如流水般接踵而至，參數(shù)量從 3B 至 1T 不等，每一款都宣稱(chēng)是“SOTA”或者“最強(qiáng)開(kāi)源”。

然而，如此快的更新速度，對(duì)于普通開(kāi)發(fā)者而言，莫說(shuō)深入研究，僅僅是分辨區(qū)別就已經(jīng)耗費(fèi)大量精力。更不用提許多技術(shù)報(bào)告的表述含糊，架構(gòu)圖繪制風(fēng)格各異，想要進(jìn)行橫向?qū)Ρ仁掷щy。

為了解決這些問(wèn)題，一個(gè)名為“LLM Architecture Gallery”(大語(yǔ)言模型架構(gòu)畫(huà)廊)的項(xiàng)目上線了。顧名思義，就是讓你像逛“畫(huà)廊”一樣，瀏覽不同模型的架構(gòu)圖。

（來(lái)源：X）

這個(gè)項(xiàng)目的作者是 Sebastian Raschka，是機(jī)器學(xué)習(xí)領(lǐng)域的知名研究者，寫(xiě)過(guò)《Python Machine Learning》和《Build a Large Language Model (From Scratch)》這兩本深受歡迎的專(zhuān)業(yè)書(shū)籍。

（來(lái)源：Sebastian Raschka.com）

他把過(guò)去幾個(gè)月撰寫(xiě)的兩篇長(zhǎng)文《The Big LLM Architecture Comparison》和《A Dream of Spring for Open-Weight LLMs》中繪制的所有架構(gòu)圖抽取出來(lái)，用統(tǒng)一的視覺(jué)語(yǔ)言重新呈現(xiàn)，集中放在一個(gè)頁(yè)面上。點(diǎn)擊任意一張圖可以放大，每張圖下方附帶一份“規(guī)格表”，列出模型的參數(shù)量、發(fā)布時(shí)間、注意力機(jī)制類(lèi)型等關(guān)鍵信息。想深入某個(gè)模型，可以點(diǎn)開(kāi)“view in article”頁(yè)面會(huì)直接跳轉(zhuǎn)到原文對(duì)應(yīng)章節(jié)。

（來(lái)源：LLM Architecture Gallery）

項(xiàng)目上線幾小時(shí)后，Andrej Karpathy 在 X 上回復(fù)了 Raschka 的推文：“太好了！我的自動(dòng)研究功能很需要這個(gè)內(nèi)容的 Markdown 版本——一個(gè)創(chuàng)意池。”他最近發(fā)布的 autoresearch 項(xiàng)目：一個(gè)讓 AI 自主跑實(shí)驗(yàn)的開(kāi)源工具，正需要這類(lèi)結(jié)構(gòu)化的架構(gòu)信息作為創(chuàng)意來(lái)源。

Raschka 也很快作出回復(fù)，并提供了 YAML 格式的元數(shù)據(jù) GitHub 鏈接。Karpathy 隨后表示他已經(jīng)用 Obsidian 把博客文章導(dǎo)出成 markdown，并且“輸入到了 autoresearch 循環(huán)中”。一個(gè)本意是方便人類(lèi)閱讀的架構(gòu)圖集，就這樣被接入了 AI 自動(dòng)化研究的工作流。

（來(lái)源；X）

就在今天，這個(gè)項(xiàng)目也沖上了 Hacker News 首頁(yè)。一位用戶(hù)評(píng)論說(shuō)：“這讓我想起了當(dāng)年的 Neural Network Zoo，也是用可視化的方式展示不同架構(gòu)。”也有人繼續(xù)幫忙優(yōu)化細(xì)節(jié)：“能不能按時(shí)間排序，畫(huà)出架構(gòu)演化的家譜樹(shù)？能不能加一個(gè)比例視圖，讓參數(shù)量的差異在視覺(jué)上直觀可感？”對(duì)于這些建議，Sebastian 表示他后續(xù)會(huì)持續(xù)完善。

回到項(xiàng)目本身，目前，這份圖集收錄了三十多個(gè)模型架構(gòu)，從 Llama 38B 到最新的 Qwen3.5、Sarvam 105B、Ling 2.5 1T。所有圖都按同一套視覺(jué)規(guī)范繪制：配色、圖例、字體統(tǒng)一，DeepSeek V3 和 Qwen3 235B-A22B 被放在一起時(shí)，你一眼就能看出前者用了 MLA（Multi-Head Latent Attention，多頭潛在注意力），后者用的是 GQA（Grouped-Query Attention，分組查詢(xún)注意力）；DeepSeek V3 有一個(gè)“共享專(zhuān)家”模塊，Qwen3 沒(méi)有。

這類(lèi)信息原本散落在幾十頁(yè)技術(shù)報(bào)告的不同角落，現(xiàn)在被壓縮成一張對(duì)比圖。

MoE（Mixture-of-Experts，混合專(zhuān)家模型）是 2025 年開(kāi)源 LLM 的主旋律。所有主流的前沿開(kāi)放權(quán)重模型都采用了這種架構(gòu)。傳統(tǒng)的“稠密”Transformer 會(huì)在每次生成 token 時(shí)激活全部參數(shù)，參數(shù)越多，算力成本越高。而 MoE 把參數(shù)分成若干“專(zhuān)家”，每次只激活其中一部分。DeepSeek V3 名義上有 6,710 億參數(shù)，但實(shí)際運(yùn)行時(shí)只激活 370 億；Llama 4 Maverick 號(hào)稱(chēng) 4,000 億參數(shù)，激活的只有 170 億。

Raschka 在圖集中把各模型的專(zhuān)家數(shù)量、激活比例、專(zhuān)家隱藏層尺寸都標(biāo)注出來(lái)，讓稀疏程度一目了然。Hacker News 上有人感慨：“我很驚訝這些模型在結(jié)構(gòu)上有多相似，主要差異就是層的大小。”

另一位用戶(hù)則看出了一些端倪，辣評(píng)“過(guò)去七年，LLM 架構(gòu)有很多改進(jìn)，但沒(méi)有根本性的創(chuàng)新。今天最好的開(kāi)放權(quán)重模型，如果你縮遠(yuǎn)了看，仍然很像 GPT-2，就是一堆注意力層和前饋層堆起來(lái)。”

這可以說(shuō)是一個(gè)重要的觀察。LLM 能力的驚人提升，更多來(lái)自訓(xùn)練方法的革新。比如 RLVR（Reinforcement Learning with Verifiable Rewards，可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)），而不是架構(gòu)本身的突破。架構(gòu)層面的優(yōu)化，更多是為了讓訓(xùn)練和推理更高效、成本更低，而不是讓模型根本上更聰明。理解這一點(diǎn)，對(duì)選型和預(yù)期管理都有幫助。

最后總結(jié)一下，這個(gè)大模型架構(gòu)的圖集的實(shí)際用法很簡(jiǎn)單。

首先，你可以把它當(dāng)作速查手冊(cè)：想知道 Qwen3 和 DeepSeek V3 在注意力機(jī)制上有什么區(qū)別？打開(kāi)頁(yè)面，找到兩張圖，直接對(duì)比。規(guī)格表里會(huì)告訴你 Qwen3 用 GQA，DeepSeek V3 用 MLA；前者沒(méi)有共享專(zhuān)家，后者有。

其次，每張架構(gòu)圖都鏈接到 Raschka 原文中的對(duì)應(yīng)章節(jié)，如果你想深入了解某個(gè)技術(shù)細(xì)節(jié)：比如 QK-Norm（一種應(yīng)用于查詢(xún)和鍵向量的歸一化技術(shù)）是什么、為什么能穩(wěn)定訓(xùn)練，點(diǎn)進(jìn)去就能讀到解釋。

第三，圖集附帶一份“概念速查”，解釋 GQA、MLA、SWA（Sliding Window Attention，滑動(dòng)窗口注意力）、NoPE（No Positional Encoding，無(wú)位置編碼）、Gated DeltaNet 等術(shù)語(yǔ)，適合快速補(bǔ)課。

并且，正如 Karpathy 的用法所示，這份圖集的價(jià)值不僅在于人類(lèi)可讀，還在于它的結(jié)構(gòu)化程度足以被機(jī)器解析。Raschka 在 GitHub 上提供了 YAML 格式的元數(shù)據(jù)，包含每個(gè)模型的參數(shù)量、發(fā)布日期、技術(shù)報(bào)告鏈接、注意力類(lèi)型等字段。如果你想寫(xiě)腳本批量分析這些模型的共性和差異，或者像 Karpathy 那樣把它們喂給 AI 做自動(dòng)化研究，這份元數(shù)據(jù)是現(xiàn)成的起點(diǎn)。

Raschka 還把整套架構(gòu)圖打包成一個(gè)超高分辨率的 PNG 文件（56M，182 百萬(wàn)像素，上傳到 Zazzle，可以直接下單打印成實(shí)體海報(bào)。他自己也訂了一張，但“還沒(méi)收到貨，暫時(shí)不能保證印刷質(zhì)量”。頁(yè)面底部留了一個(gè) Issue Tracker 鏈接，歡迎任何人提交糾錯(cuò)或建議。

對(duì)于正在選型的工程師來(lái)說(shuō)，這份圖集的價(jià)值在于節(jié)省時(shí)間。你不用再翻幾十頁(yè)技術(shù)報(bào)告去找一個(gè)數(shù)字，也不用自己畫(huà)對(duì)比表格。對(duì)于想搞懂“這些模型到底在結(jié)構(gòu)上有什么區(qū)別”的研究者來(lái)說(shuō)，統(tǒng)一的視覺(jué)語(yǔ)言讓跨模型對(duì)比成為可能。

1.項(xiàng)目地址：https://sebastianraschka.com/llm-architecture-gallery/#card-qwen3-5-397b

2.開(kāi)發(fā)者主頁(yè)：https://x.com/rasbt/status/2033167146302210058

運(yùn)營(yíng)/排版：何晨龍