江蘇
隨著大模型應用從訓練走向規模化推理，算力供給正在面臨新的結構性挑戰。
一方面，高性能 GPU 資源持續緊張，推理調用成本居高不下；另一方面，大量存量 CPU 服務器在傳統通算場景之外，仍有進一步釋放價值的空間。如何讓通用計算資源與智能計算資源形成協同，成為提升大模型推理效率、降低應用成本的重要方向。
圍繞這一趨勢，云工場科技正在推進“面向大模型推理的通算智算融合調度與協同推理平臺”相關研究與建設。
平臺依托云工場現有邊緣云與智算基礎設施，將 CPU 通用計算資源、英偉達 GPU、AMD GPU、國產 GPU 等多架構資源納入統一資源池，探索面向大模型推理場景的異構算力協同調度能力。
該平臺的核心思路，是讓 CPU 不再僅作為傳統通用計算資源，而是參與到 AI 推理服務鏈路之中。
在大模型推理過程中，CPU 可承擔請求接入、任務隊列、數據預處理、上下文管理、KV Cache 管理、服務編排、輕量推理、Token 計量等環節；GPU 則重點承擔大參數模型計算、高并發矩陣運算等核心推理任務。通過“CPU 負責組織與輔助計算、GPU 負責核心推理計算”的協同架構，平臺有望提升整體資源利用效率，緩解單一 GPU 推理模式下的資源壓力。
與傳統 GPU 推理服務不同，云工場科技此次研究的重點不只是資源層面的統一納管，而是圍繞推理鏈路進行協同優化。平臺將根據模型規模、并發請求、響應時延和成本目標，動態匹配 CPU、GPU 或 CPU+GPU 協同執行方式，推動通算資源與智算資源在實際業務場景中的融合使用。
在應用方向上，該成果可面向政務問答、企業知識庫、智能客服、辦公助手、內容生成、行業模型推理、中小企業 AI 應用開發等場景。通過 CPU+GPU 協同推理，平臺可在保障推理服務穩定性的基礎上，進一步提升存量 CPU 服務器的 AI 化利用效率，釋放 GPU 核心計算能力，并為政府、園區、企業、開發者和 ISV 提供更加彈性、普惠、可持續的大模型推理服務。
后續，云工場科技將按照“資源接入—鏈路拆解—協同調度—場景驗證—規模應用”的路徑持續推進相關能力建設，并結合裸金屬、容器云、彈性算力、模型服務、API 調用、Token 計量等產品形態，逐步形成面向城市級 AI 應用場景的通算智算融合推理服務體系。通過持續推進 CPU+GPU 協同推理研究，云工場科技將進一步探索存量算力資源盤活、高端 GPU 資源優化使用以及大模型應用成本下降的可行路徑，為 AI 應用規?；涞靥峁└訄詫嵉乃懔χ?。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
