電腦這東西玩久了,有時(shí)候真覺得挺無聊的。顯卡年年換代,跑分軟件里的數(shù)字漲得挺歡,可日常用起來,體感提升遠(yuǎn)沒那么刺激。尤其是AI這波,云端模型確實(shí)強(qiáng),可自己的數(shù)據(jù)不敢往上放,離線又跑不動,不上不下的很難受。
所以看到技嘉這個(gè)叫AI TOP ATOM的小鐵盒時(shí),我第一反應(yīng)不是興奮,而是困惑。這玩意兒長得跟之前的NUC幾乎一個(gè)模子,150毫米見方,比手機(jī)寬不了多少,銀灰色金屬殼,磨砂面,沒有任何燈效,放在桌上不注意還以為是外置硬盤。技嘉管它叫“個(gè)人AI超級電腦”,說實(shí)話我對“超級”這詞已經(jīng)免疫了。
![]()
但真正用起來之后,事情變得有點(diǎn)不一樣了。
這個(gè)產(chǎn)品其實(shí)是NVIDIA那個(gè)DGX SPARK的定制版,但技嘉把張揚(yáng)的土豪金換成了低調(diào)的銀灰色,我覺得這步走對了,辦公室或?qū)嶒?yàn)室里放個(gè)金光閃閃的主機(jī)多少有點(diǎn)浮夸。接口都在背面:三個(gè)USB-C、一個(gè)萬兆網(wǎng)口、一個(gè)HDMI,還有個(gè)特別的NVIDIA ConnectX-7接口,能把兩臺機(jī)器連在一起,算力和顯存直接翻倍,跑4000億參數(shù)的大模型。這個(gè)設(shè)計(jì)思路有意思,需要的時(shí)候加一臺就行,不用一次性買個(gè)巨無霸回來。
![]()
真正讓我覺得這東西有料的,是它的心臟——它沒用常見的酷睿或銳龍,而是一塊NVIDIA的GB10 Grace Blackwell芯片。這塊芯片把ARM架構(gòu)的CPU和Blackwell架構(gòu)的GPU封裝在一起,中間用NVLink-C2C互聯(lián),帶寬是普通PCIe 5.0的五倍。臺積電3納米工藝,功耗控制在140瓦,這就解釋了為什么這么小的機(jī)身不需要夸張的散熱,靠金屬外殼和幾個(gè)柵格出風(fēng)口就能壓住。
![]()
最核心的是128GB統(tǒng)一內(nèi)存,注意,這不是傳統(tǒng)意義上給CPU用的內(nèi)存或顯卡的顯存,而是兩者共享的一塊高速內(nèi)存池,沒有數(shù)據(jù)來回拷貝的瓶頸。那些動不動幾百億參數(shù)的大模型,以前得靠機(jī)架式服務(wù)器才能塞得下,現(xiàn)在這個(gè)小盒子就能裝。在NVFP4精度下能跑2000億參數(shù)的模型,算力有1000 AI TOPS。
![]()
開機(jī)之后最讓我省心的是它預(yù)裝了趨境的系統(tǒng)。很多AI PC買回來就是個(gè)空殼子,要自己裝驅(qū)動、配環(huán)境、拉模型,沒點(diǎn)Linux功底根本玩不轉(zhuǎn)。這臺機(jī)器開機(jī)進(jìn)系統(tǒng),瀏覽器里輸個(gè)IP地址加端口就能用,后臺管理界面是圖形化的,GPU占用率、顯存用了多少、生成了多少Tokens,一目了然。GLM 4.5 Air 106B這種千億參數(shù)的大模型已經(jīng)給你裝好了,直接加載就行。我還試著導(dǎo)了一個(gè)Qwen 2.5 7B模型進(jìn)去,把文件放到指定文件夾,點(diǎn)個(gè)導(dǎo)入就完事了。
![]()
性能方面,在GLM 4.5 Air 106B模型下,寫300字左右的回答,平均速度能達(dá)到20個(gè)Tokens每秒以上,體感就是打完問題它幾乎沒有停頓就開始往外蹦字,就算把提示詞加到500字,速度也就降到20.6Tokens每秒左右,很穩(wěn)定。跑這個(gè)千億大模型的時(shí)候,顯存占用大約68GB,還不到128GB的一半,也就是說還有余量干點(diǎn)別的。并發(fā)測試我也做了,4個(gè)線程以內(nèi)推理速度都能維持在10Tokens每秒以上。
![]()
當(dāng)然它也不是完美的,完全沒接觸過Linux的話,剛開始設(shè)置網(wǎng)絡(luò)可能會花點(diǎn)時(shí)間。生成的長文確實(shí)有點(diǎn)模板化,深度洞察還得自己來。
但瑕不掩瑜,它讓私有化AI部署從“折騰”變成了“使用”。你不需要是算法工程師,不需要懂分布式訓(xùn)練,甚至不用敲多少命令行,它把數(shù)據(jù)中心級別的算力放到了桌面上,并且用一套成熟的軟件生態(tài)把這套算力真正用了起來。對AI開發(fā)者來說是本地測試平臺,對科研人員是數(shù)據(jù)不出門的實(shí)驗(yàn)環(huán)境,對工作室或小企業(yè)是成本可控的私有知識庫。它不是魔法,但確實(shí)是目前把硬件算力和本地化AI應(yīng)用結(jié)合得最完整、最省心的方案之一。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.