北京
"我的RTX 3080 Ti上跑著Qwen 3.6（35B），令牌生成速度達到了24 t/s。"這是作者在構建了一套完全本地化的AI管線后得出的結論——那套系統用的全是技術上"不合格"的過時GPU。
大語言模型在生產力方面確實有不少好處，但外界普遍有個誤解，以為本地部署大模型非得有極強的算力不可。這種想法有一定道理，畢竟自托管AI模型需要相當可觀的顯存。常規大模型還得搭配高速GPU，否則生成速度會慢到讓人無法接受。
不過實際情況和多數人想象的不同。作者的實際經驗是：你不需要旗艦級顯卡也能跑動體量龐大的模型。關鍵在于對MoE（混合專家模型）架構的利用方式。常規大模型要靠整個模型來處理提示詞，而MoE模型走的是路由器加專家的路線，在推理階段可以大幅降低顯存占用。路由器會把輸入分發給特定的專家，這些獨立的神經網絡各自擅長處理特定類型的工作負載。
以那塊RTX 3080 Ti來說，12GB顯存在當年算得上強悍，但對付體量較大的模型就有點吃力了。7B到9B規模的模型是這個顯存容量下的最佳區間，想上14B模型就得在量化率上折騰一番。不過這個限制只適用于常規大模型，對MoE模型并不成立。作者在運行llama.cpp時添加了--n-cpu-moe參數，把使用頻率較低的MoE層卸載到CPU和內存上，注意力機制和路由器權重則留在GPU顯存里運作。正是靠這種架構上的差異，那塊用了五年的RTX 3080 Ti才能跑起Qwen3.6-35B-A3B這樣的大家伙。
整套系統配置并不高：Windows系統、銳龍5 5600x處理器、32GB DDR4內存。即便如此，運行模型的同時仍有剩余內存可供VS Code等應用使用。作者主要通過llama-vscode擴展把Qwen3.6-35B-A3B當作編程助手，從排查日志文件、檢查代碼倉庫的安全漏洞，到重新格式化YAML/JSON文件、重構Python函數，實際表現足以和云端模型抗衡。最近作者還開始搭配智能體框架Pi使用，讓模型創建插件并執行復雜命令，效果同樣令人印象深刻。
除了大語言模型類的工作流，這塊RTX 3080 Ti還承擔了圖像相關的AI任務。盡管AI生成圖像在輿論場上頗具爭議，但ComfyUI的某些工作流確實相當實用。結合Krita和ComfyUI搭建的創作流程，讓這塊舊顯卡繼續發揮著實實在在的作用。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
