![]()
距離“千衍”超大規(guī)模宇宙學(xué)模擬項(xiàng)目完成已過(guò)去一個(gè)月,但關(guān)于它的討論仍在發(fā)酵。
核心觀點(diǎn)圍繞一個(gè)技術(shù)命題展開(kāi):在高性能計(jì)算與AI領(lǐng)域,存儲(chǔ)正從配角變?yōu)闆Q定系統(tǒng)性能的瓶頸與關(guān)鍵支點(diǎn)。
此前,“千衍”項(xiàng)目已于今年4月正式發(fā)布,簡(jiǎn)單一點(diǎn)來(lái)說(shuō),是科學(xué)家們一個(gè)用超級(jí)計(jì)算機(jī)模擬宇宙演化的科研項(xiàng)目。它追蹤了4.2萬(wàn)億個(gè)暗物質(zhì)粒子,在120億光年的空間尺度上,重現(xiàn)了宇宙百億年的變化過(guò)程,幫助科學(xué)家研究暗物質(zhì)和暗能量。
對(duì)此,我們與項(xiàng)目負(fù)責(zé)人王喬研究員,以及中科曙光高級(jí)副總裁李斌進(jìn)行深入的交流。他們的回答指向同一個(gè)方向:存算一體不再只是理論設(shè)想,而是當(dāng)前算力突圍必須面對(duì)的現(xiàn)實(shí)課題。
存儲(chǔ)已經(jīng)跟不上計(jì)算的強(qiáng)大了?
在“千衍”項(xiàng)目中,團(tuán)隊(duì)完成了一次計(jì)算實(shí)驗(yàn):生成13PB數(shù)據(jù),模擬120億光年宇宙尺度下4.2萬(wàn)億暗物質(zhì)質(zhì)點(diǎn)的百億年演化。
項(xiàng)目負(fù)責(zé)人王喬回憶,團(tuán)隊(duì)最初嘗試用國(guó)際成熟軟件在超算上運(yùn)行,但測(cè)試兩年始終跑不起來(lái)。因?yàn)橹雾?xiàng)目的不僅是極致的算力,更需要與之匹配的高性能存儲(chǔ)系統(tǒng),來(lái)承載模擬過(guò)程中產(chǎn)生的海量數(shù)據(jù)。
王喬作為從0到1看著“千衍”項(xiàng)目一步步走到如今的研究人員,分享了“千衍”項(xiàng)目一路走來(lái)的歷程,他表示,起初,他們嘗試使用國(guó)際上成熟的軟件在大規(guī)模超算上運(yùn)行,“第一次我們一開(kāi)始就是這么想的,找個(gè)成熟的軟件拿過(guò)來(lái)放心。但是后來(lái)發(fā)現(xiàn),也差不多測(cè)試了兩年,發(fā)現(xiàn)根本就跑不起來(lái),整個(gè)這個(gè)事情就走不下去了。”王喬回憶道,從其他超算切換到曙光的架構(gòu),這背后是無(wú)數(shù)次排查、調(diào)試和重寫代碼的深夜。
為什么其他超算最終未能承載“千衍”?關(guān)鍵不在于算力規(guī)模,而在于架構(gòu)匹配。項(xiàng)目前期使用的超算采用的是主從核架構(gòu),其核心優(yōu)勢(shì)在于規(guī)模龐大、算力強(qiáng)勁,但致命的短板的是內(nèi)存偏小——這與“千衍”項(xiàng)目的需求形成了尖銳的矛盾。“我們的模擬需要同時(shí)處理海量演化數(shù)據(jù),這些數(shù)據(jù)首先要能‘裝得下’,才能‘算得動(dòng)’。”王喬指出,而曙光的大內(nèi)存架構(gòu)恰恰契合了天文模擬的需求。最終,“千衍”在中科院網(wǎng)絡(luò)中心的東方超算上使用了上億CPU核時(shí)與千萬(wàn)加速卡時(shí),完成了模擬計(jì)算。
透過(guò)“千衍”項(xiàng)目的經(jīng)歷,可以窺見(jiàn)當(dāng)前高性能計(jì)算的一個(gè)技術(shù)趨勢(shì):在今天的AI和科學(xué)計(jì)算中,性能的瓶頸正在從計(jì)算單元本身,向存儲(chǔ)和數(shù)據(jù)搬運(yùn)環(huán)節(jié)遷移。這個(gè)轉(zhuǎn)變不是漸進(jìn)的,而是結(jié)構(gòu)性的。王喬的團(tuán)隊(duì)遇到的直接障礙是——當(dāng)GPU和CPU的計(jì)算能力持續(xù)飆升時(shí),數(shù)據(jù)的讀寫和傳輸卻卡住了整個(gè)鏈條的運(yùn)轉(zhuǎn)。“在存儲(chǔ)這一塊、數(shù)據(jù)這一塊是一個(gè)非常重要的事兒,之前大家關(guān)注得并沒(méi)有那么多,”王喬坦言,“但它必須是在一個(gè)高速存儲(chǔ)上面,否則就處理不完了,我們實(shí)際上需要一個(gè)非常快的處理方式才能解決。”
而這只是行業(yè)的一個(gè)縮影,當(dāng)前無(wú)論是高性能計(jì)算領(lǐng)域,還是智算領(lǐng)域,都普遍存在一個(gè)困境,那就是“計(jì)算核心越來(lái)越強(qiáng)大,但數(shù)據(jù)搬不動(dòng)了”。美國(guó)德克薩斯大學(xué)奧斯汀分校教授Mike Boylan-Kolchin將“千衍”稱為一項(xiàng)“計(jì)算奇跡”,德國(guó)馬普天體物理研究所所長(zhǎng)Volker Springel則認(rèn)為它“刷新了當(dāng)前數(shù)值宇宙學(xué)的發(fā)展極限”。在這些贊譽(yù)背后,真正支撐起這一奇跡的,恰恰是一套能夠?qū)⒋鎯?chǔ)性能推到極限的高端全閃存儲(chǔ)系統(tǒng)。
存力為何可能成為終極制高點(diǎn)?
天文領(lǐng)域的極端案例并非孤例。當(dāng)2025年中國(guó)分布式存儲(chǔ)市場(chǎng)規(guī)模首次超越集中式存儲(chǔ)達(dá)到198.2億元,同比增長(zhǎng)43.7%時(shí),全閃存存儲(chǔ)占比已提升至24.1%,成為市場(chǎng)增長(zhǎng)的核心引擎。而全球超算市場(chǎng)規(guī)模也將在2026年突破186.7億美元,以19.3%的年增速擴(kuò)張。這個(gè)高速增長(zhǎng)的市場(chǎng),正在催生一種全新的技術(shù)理念——存算一體不再只是實(shí)驗(yàn)室里的論文選題,而成為決定產(chǎn)業(yè)落地的核心命題。
在AI產(chǎn)業(yè)的另外一側(cè),同樣的存算張力正以更激進(jìn)的姿態(tài)上演。當(dāng)大模型服務(wù)需要每日處理數(shù)百TB甚至PB級(jí)KV緩存數(shù)據(jù)時(shí),數(shù)據(jù)搬動(dòng)本身的能耗和延遲已經(jīng)讓傳統(tǒng)架構(gòu)捉襟見(jiàn)肘。鄭緯民院士在吉林大學(xué)的講座中明確指出,每個(gè)token對(duì)應(yīng)的KV-Cache可達(dá)數(shù)十KB,大規(guī)模服務(wù)中每日需處理數(shù)百TB甚至PB級(jí)緩存數(shù)據(jù),對(duì)存儲(chǔ)系統(tǒng)和傳輸速度提出極高要求。
在這種背景下,“以存儲(chǔ)換計(jì)算”的思路開(kāi)始進(jìn)入主流視野:將KV cache從GPU顯存卸載到存儲(chǔ)介質(zhì),通過(guò)存儲(chǔ)系統(tǒng)的性能換取計(jì)算效率的提升。這與“千衍”項(xiàng)目中王喬團(tuán)隊(duì)對(duì)存儲(chǔ)性能的極致追求,實(shí)際上是同一個(gè)技術(shù)命題的兩面——數(shù)據(jù)搬不動(dòng)了,存儲(chǔ)必須扛起來(lái)。
而這也是為什么近年來(lái)眾多做存儲(chǔ)的廠商都在布局“存算一體”的根本原因。存算一體的核心要義,在于打破計(jì)算與存儲(chǔ)之間的壁壘,實(shí)現(xiàn)數(shù)據(jù)“就近計(jì)算、高效流轉(zhuǎn)”,從而解決傳統(tǒng)高性能計(jì)算架構(gòu)中“算力閑置、存儲(chǔ)擁堵”的痛點(diǎn)。假如把算力比作AI時(shí)代的引擎,那么存力就是這顆引擎的燃油系統(tǒng)。引擎馬力再?gòu)?qiáng),如果燃油送不進(jìn)去,一切都是徒勞。
對(duì)于“千衍”這樣的超大規(guī)模科研項(xiàng)目而言,存算協(xié)同不僅是提升運(yùn)算效率的關(guān)鍵,更是實(shí)現(xiàn)項(xiàng)目目標(biāo)的前提。
與此同時(shí),中科曙光高級(jí)副總裁李斌給出了一個(gè)耐人尋味的判斷:“現(xiàn)在人工智能來(lái)了之后,其實(shí)對(duì)存儲(chǔ)系統(tǒng)本身提出了很高的要求,但是另外一方面也是未來(lái)可能會(huì)重塑未來(lái)存儲(chǔ)的一些發(fā)展技術(shù)方向。”這句話的潛臺(tái)詞是:AI對(duì)存儲(chǔ)的改變不是錦上添花,而是釜底抽薪。
存儲(chǔ)行業(yè)的價(jià)值躍升,在更宏觀的產(chǎn)業(yè)層面有著更加直觀的體現(xiàn)。2025年第二季度起,全球存儲(chǔ)芯片價(jià)格開(kāi)啟了罕見(jiàn)的超級(jí)周期。TrendForce數(shù)據(jù)顯示,2025年第四季度DRAM合約價(jià)較去年同期已上漲逾75%。進(jìn)入2026年,漲價(jià)勢(shì)頭未見(jiàn)緩解——2026年全球生產(chǎn)的DRAM中高達(dá)70%將被數(shù)據(jù)中心消耗,到2028年的產(chǎn)能已被預(yù)訂完畢。支撐這場(chǎng)超級(jí)周期的,不僅僅是產(chǎn)能不足的傳統(tǒng)邏輯,更是AI訓(xùn)練和推理對(duì)內(nèi)存和存儲(chǔ)的結(jié)構(gòu)性需求。存儲(chǔ)正在從一個(gè)以產(chǎn)能周期驅(qū)動(dòng)的周期性行業(yè),轉(zhuǎn)變?yōu)橐粋€(gè)由AI需求增長(zhǎng)驅(qū)動(dòng)的長(zhǎng)期成長(zhǎng)行業(yè)。
更深層次的變革來(lái)自于存儲(chǔ)的“角色升級(jí)”。在傳統(tǒng)計(jì)算架構(gòu)中,存儲(chǔ)是被動(dòng)的數(shù)據(jù)容器,CPU告訴它“給我數(shù)據(jù)”,它就把數(shù)據(jù)取出來(lái)遞過(guò)去。但在AI驅(qū)動(dòng)的計(jì)算范式中,存儲(chǔ)正在從“容器”升級(jí)為“數(shù)據(jù)引擎”。這意味著,在未來(lái)的AI推理架構(gòu)中,存儲(chǔ)將不僅僅是數(shù)據(jù)的保管者,更將是計(jì)算過(guò)程的積極參與者,需要其具備主動(dòng)理解數(shù)據(jù)語(yǔ)義,主動(dòng)優(yōu)化數(shù)據(jù)布局,主動(dòng)配合算力調(diào)度的能力。
這正是存算一體的本質(zhì)。它不是在芯片層面將計(jì)算和存儲(chǔ)合二為一,而是在系統(tǒng)架構(gòu)層面,讓兩個(gè)環(huán)節(jié)從前端到后端實(shí)現(xiàn)深度協(xié)同。在千衍項(xiàng)目中,這種協(xié)同以另一種方式體現(xiàn):計(jì)算系統(tǒng)負(fù)責(zé)模擬數(shù)萬(wàn)億粒子的引力演化,存儲(chǔ)系統(tǒng)則保障海量數(shù)據(jù)的高效寫入與讀取,兩者之間的數(shù)據(jù)傳輸被優(yōu)化到了極致。
高性能存儲(chǔ)成必備品
“千衍”項(xiàng)目的成功,不僅是一個(gè)科研項(xiàng)目的突破,更預(yù)示著高性能計(jì)算領(lǐng)域的發(fā)展進(jìn)入了高性能存儲(chǔ)時(shí)代。
高性能計(jì)算領(lǐng)域?qū)Υ嫠阋惑w的需求,已經(jīng)從“基礎(chǔ)協(xié)同”向“深度融合”升級(jí)。傳統(tǒng)的存算協(xié)同,更多是實(shí)現(xiàn)存儲(chǔ)與算力的硬件適配,而未來(lái)的存算一體,將實(shí)現(xiàn)軟件與硬件的深度融合,存儲(chǔ)系統(tǒng)不僅能夠提供數(shù)據(jù)存儲(chǔ)和讀寫服務(wù),還能夠承擔(dān)部分計(jì)算任務(wù),實(shí)現(xiàn)“存儲(chǔ)即計(jì)算”。“千衍”項(xiàng)目的實(shí)踐,已經(jīng)為這種深度融合提供了很好的范例——曙光的存儲(chǔ)系統(tǒng)通過(guò)支持KV cache遠(yuǎn)端卸載、原生KV語(yǔ)義等技術(shù),承擔(dān)了部分AI推理過(guò)程中的計(jì)算任務(wù),減輕了GPU的顯存壓力,提升了整個(gè)系統(tǒng)的運(yùn)算效率。
對(duì)此,李斌表示:“AI時(shí)代的高性能計(jì)算,是一個(gè)算力、存力、網(wǎng)絡(luò)高度緊耦合的系統(tǒng)。存算一體的核心,就是打破原有技術(shù)邊界,實(shí)現(xiàn)有機(jī)協(xié)同。”
從趨勢(shì)上看,國(guó)內(nèi)存儲(chǔ)行業(yè)需要主要有三個(gè)趨勢(shì):一是高性能化,隨著科研場(chǎng)景的升級(jí),存儲(chǔ)系統(tǒng)的讀寫速度、容量上限將持續(xù)提升,以滿足PB級(jí)、EB級(jí)數(shù)據(jù)的存儲(chǔ)與處理需求;二是智能化,存儲(chǔ)系統(tǒng)將引入AI技術(shù),實(shí)現(xiàn)數(shù)據(jù)的智能管理、智能調(diào)度和智能優(yōu)化,提升系統(tǒng)的運(yùn)行效率和可靠性;三是國(guó)產(chǎn)化,隨著國(guó)產(chǎn)替代的不斷推進(jìn),高性能存儲(chǔ)的核心部件、軟件系統(tǒng)將逐步實(shí)現(xiàn)自主可控,構(gòu)建完整的國(guó)產(chǎn)生態(tài)。
“千衍”下一步也契合這一方向。王喬介紹,豐富模擬的物理內(nèi)容,并引入AI優(yōu)化算法、挖掘數(shù)據(jù)將成為“千衍”未來(lái)的發(fā)展方向,“AI4S是未來(lái)科研的重要方向”。
如果說(shuō)“千衍”是對(duì)存算極限的一次極端測(cè)試,那么AI產(chǎn)業(yè)對(duì)存力的渴求則是更廣泛的壓力測(cè)試。存儲(chǔ),正從算力競(jìng)賽的“后勤部門”升級(jí)為“戰(zhàn)略前線”。
(文|Leo張ToB雜談,作者|張申宇,編輯丨楊林)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.