北京商報訊(記者 陶鳳 王天逸)5月30日,小米官方披露MiMo-V2.5大模型推理系統全鏈路優化技術細節。此前5月27日,小米MiMo-V2.5系列API宣布永久降價,最高降幅達99%。據介紹,小米針對Hybrid SWA+MoE+多模態架構重構完整推理棧,將KVCache存儲壓縮至同類方案約1/7,大幅降低長序列推理成本,在不削弱模型本身能力的前提下,實現同硬件下更高吞吐量、更低延遲,以此支撐終端定價下調。公司稱,該方案也是業內首個覆蓋該復合架構的大規模工程落地成果。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.