快科技5月24日消息,據(jù)報(bào)道,Reddit用戶APFrisco近日通過一套極客方案,利用6根二手英特爾傲騰DCPMM持久內(nèi)存模塊,在單GPU工作站上成功運(yùn)行了擁有1萬億參數(shù)的Kimi K2.5大模型,推理速度約為每秒4個(gè)Token。
該系統(tǒng)基于英特爾至強(qiáng)金牌6246處理器與泰安S5630GMRE-CGN主板構(gòu)建。內(nèi)存系統(tǒng)總?cè)萘繛?68GB,由6根32GB三星DDR4-2666 ECC內(nèi)存條與6根128GB英特爾傲騰DCPMM持久內(nèi)存模塊組成。
圖形算力由兩張華碩GeForce RTX 3060 OC 12GB顯卡承擔(dān),存儲(chǔ)設(shè)備采用西部數(shù)據(jù)WD SN850X 2TB固態(tài)硬盤,電源為華擎Steel Legend SL-850G 850W全模組電源。
軟件運(yùn)行層面,該方案采用了基于llama.cpp的GPU與CPU混合推理方法。通過llama.cpp的override-tensor標(biāo)志,系統(tǒng)將模型路由組件強(qiáng)制分流至總計(jì)24GB顯存的GPU中處理,其余參數(shù)則由傲騰內(nèi)存承擔(dān)存儲(chǔ)與讀取任務(wù),有效規(guī)避了單卡顯存不足的瓶頸。
英特爾傲騰系列產(chǎn)品雖已停產(chǎn),但其介于DRAM與固態(tài)硬盤之間的讀寫特性,使其成為替代昂貴內(nèi)存方案的特殊選擇。
業(yè)內(nèi)分析認(rèn)為,隨著CXL計(jì)算快速連接標(biāo)準(zhǔn)的成熟,未來市場有望出現(xiàn)更具性價(jià)比的字節(jié)尋址內(nèi)存解決方案,以支撐大型語言模型對內(nèi)存容量的迫切需求。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.