在北京某能源央企大樓里,老張盯著屏幕上3500多名同事的使用數據發呆。過去部署國產大模型要么卡到讓人崩潰,要么就得咬牙買海外推理引擎,現在團隊自研的引擎讓算力效率提了近40%。
這筆賬怎么算出來的?故事得從清華計算機系高性能計算所講起。2023年年末,清程極智誕生,三輪融資拿到中科創星、中金資本、考拉基金、聯想創投、中關村科學城公司等機構的錢。他們只干一件事——把Token這件事做到極致。
![]()
Token是什么?2024年初到2026年3月,中國Token日均調用量激增約1400倍,規模突破140萬億。AI智能體、多模態應用讓Token從聊天記錄變成生產資料。但問題來了:國產芯片跑國產模型,推理環節長期依賴海外引擎,性能釋放不出來;服務市場又貴又亂,開發者選型成本高到離譜。
清程極智的產品邏輯是三件套協同:赤兔推理引擎管推理、AI Ping評測路由平臺管服務質量、八卦爐智能軟件棧管訓練微調,從“訓練-推理-應用”全流程覆蓋。
先看赤兔推理引擎。國產算力“能用不好用”的難題怎么解?團隊針對昇騰、海光、沐曦、摩爾線程等芯片做全維度適配,標量向量計算、數據表達、硬件調度、卡間互聯全部吃透。更狠的是軟件層面的量化能力:FP8量化能把算力門檻砍掉50%,FP4量化能砍掉75%。部署DeepSeek-V3滿血版模型,傳統方案要4臺8卡910B服務器,赤兔方案只需要1臺8卡機,硬件成本從600萬元壓到150萬元。
前面提到的那家能源央企,3500多名員工全國產化算力環境穩定使用,對應的案例拿了2025人工智能應用大賽銅獎。券商等場景也在落地。
再看AI Ping平臺。服務商林立、指標混亂、價格不透明,開發者怎么選?平臺接入30多家主流服務商、600多個大模型服務,覆蓋文本、圖片、視頻場景,7×24小時多地域監測延遲、吞吐、可靠性、價格等核心數據。核心價值在于智能路由算法——統一接口自動匹配最優服務商,數據顯示成本降低超37%、吞吐提升超90%、延遲降低超20%。
八卦爐智能軟件棧則面向訓練微調場景,與赤兔和AI Ping形成協同閉環。從Token生產到推理應用再到服務分發,鏈條打通。
公司方面的說法是,會持續迭代對國產芯片的適配能力,聯動算力、模型、應用等產業鏈伙伴,打造國產AI基礎設施體系。在“人工智能+”政策推動下,Token能否真的像水電煤一樣成為基礎設施層,取決于推理成本、服務穩定性和國產算力生態這三個變量。
至少目前看,這家清華班底的團隊正在把變量變成確定項。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.