淺友們好~我是史中,我的日常生活是開撩五湖四海的科技大牛,我會嘗試用各種姿勢,把他們的無邊腦洞和溫情故事講給你聽。如果你想和我做朋友,不妨加微信(shizhongmax)。
AI 能陪你親親熱熱,
多虧了“存儲硬漢”輸出狠活兒!
文 | 史中
(一)AI 憑啥免費給你香香?
你有沒有想過,這些國民級的 AI 應用憑啥能免費給你用?
現在咱人均都有四五個“在線卑微”的 AI 秘書。
她們化著淡妝站一排,從“霸王龍怎么搓澡”到“喪尸圍城靠一根牙簽如何突圍”,無論多奇葩的問題,只要你問得出口,她們就必須捏著鼻子答。
而且,豆秘書(豆包)的答案不滿意,你扭頭就去找 D 秘書(DeepSeek),是一點兒情面都不看,比皇帝選妃還兇殘,屬實膨脹。
要知道,這些秘書們可都是免費的啊!一個個用愛發電、自帶干糧住你家、 24 小時侍寢還被你挑三揀四。
可見 AI 這行有多卷。
當然,免費背后肯定是 AI 廠商在補貼嘛。但這里有個前提:成本不能離譜,太高誰也補不起呀!
AI 廠商的師傅們每天研究一件事兒——怎么高性價比地“開學校”!
教學質量要好:隔三差五把自家模型送學校回爐,爭取學完之后色藝雙絕,艷壓群芳; 學費還得便宜:畢竟就算學出來是學貫中西博古通今的花魁,打工的收入還是辣么微薄。。。
從 2023 年開始,各家 AI 都狂暴地請來更好的名師(算法),研發新的教材(數據),蓋更多的教室(GPU),使用更先進的教學管理制度(訓練框架),爭取讓學生們學得又好又快又便宜。
忙活了一兩年,賽博世界里一座座嶄新的學校挺立,”教學性價比”嗷嗷提升。
夠了嗎?夠了。。。又好像不夠。。。
老師傅們不約而同地緩緩移動懷疑的目光。
他們發現,角落里不起眼的“圖書館”。。。仿佛似乎竟然。。。成了支撐 AI “性價比”的一根重要支柱!!!
此時從天空俯瞰,歷史恰行至拐點,驚雷炸響,國產存儲技術的命運齒輪開始緩緩轉動。
(二)建圖書館的“天命人”
我們開動時光機,去往 2023 年的北京西二旗。
那真是平靜的日子,袁清波還有空研究“保溫杯里應該泡哪種枸杞”。。。不光是他,整個曙光存儲的技術團隊都在“泡枸杞”。
澄清一下,不是老師傅集體躺平摸魚,正相反,他們有點兒“獨孤求敗”的意思。
這幫師傅就是“圖書館”的施工隊。
所謂圖書館,就是——企業級存儲系統。
那時候,曙光存儲系統主要服務于大型的國企央企。這些企業的數據固然很重要,但要求和圖書館類似:存下來,別丟,想要的時候能找出來。
至于一個數據是 0.1 秒找到,還是 0.0001 秒找到,同時能找 10 萬條數據還是 100 萬條數據,還真沒啥極致的講究。。。
再看袁清波,是中科院計算所的博士后,主攻系統架構,他的很多同事都是中科院師兄弟,放眼全中國這是妥妥的明星陣容。雖說要正心誠意地開發每一代產品,但這個團隊多少有點兒“性能過剩”的意思。
袁清波
靈明石猴棲身花果山,可不是為了量販吃桃,而是有朝一日成為“天命人”。
這不,2024 年春節剛過,分布式存儲產品 ParaStor 的產品經理喬雅楠就找到了袁清波,上來一頓虎狼之詞:
“下一代分布式存儲產品,能不能把帶寬做到190G 每秒,把IOPS 做到 500 萬?”
先按下暫停鍵,科普一下。
這句話的意思是說:
1)每秒鐘傳輸的數據量是 190GB,這相當于 38000 張照片。這么說吧,你微信里所有朋友一年的自拍,都能在一秒鐘內幫你存好! 2)每秒鐘存取的動作能做 500 萬次,相當于天南海北的 500 萬人同時給你小紅書點贊,能在一秒之內一個不差地幫你記錄清楚!
不夸張地說,曙光是中國存儲產品的扛把子,性能本來就是“姚明級”的。但下一代產品的要求卻要比現在翻兩番,妥妥是讓姚明穿著增高鞋踩高蹺蹦起來扣籃。。。
這么強悍的性能,是準備存啥??
咱們繼續按下播放鍵。
袁清波聽到這話,并不驚詫,而是 45 度仰天長嘆,一副“該來的總算來了”的神情。。。
雖是久居山林的掃地僧,但技術師傅早有耳聞,曙光存儲正在和很多頭部 AI 廠商勾兌,要幫他們的“AI 學校”建“圖書館”。
這里,話頭就和最開始接上了:訓練個 AI,到底跟圖書館有啥關系嘞?
不妨跟著中哥鉆進一座 AI 學校,咱們實地觀摩下目前人類最牛的“萬億參數大語言模型”是腫么訓練的!
我們先來到教學樓,這里熱火朝天,有 1 萬間教室,每個教室里都能坐下 1 億個葫蘆娃,他們在一本一本地飛速看書。
每個葫蘆娃其實就是 AI 大腦的一個神經元。他們看的書,就是訓練語料。
每看一本書,他們都會刷新一次自己對世界的認識,然后改一下手里的參數。
當所有的教材都看完之后,每個葫蘆娃手里的最終參數也固定了下來,一萬億個參數匯合在一起,就組成了一個水靈靈的 AI 大秘書!
喂養這么一個怪獸級的模型,大概需要消耗 10PB 的語料。這是多少呢?
換成紙質書有 220 億本,一本一本豎著放,也能繞地球赤道一圈。比香飄飄還狠。
一萬億個葫蘆娃同時看書,場面如風卷殘云:
可能這一秒要從圖書館調撥 500 萬冊語文書;下一秒鐘就調撥 500 萬冊英語書。。。
這時候,壓力給到了圖書館,如果供不上這么大的量,那學校只能停課干等,不就浪費了教學資源嗎?!
所以,要想支持世界最強 AI 的訓練,500 萬 IOPS(也就是每秒 500 萬次讀寫)的能力還真就是必須的↓↓↓
即便如此,還遠遠不夠。
AI 學校并不真實,而是在賽博世界里構建的,每間教室其實就是一張顯卡。這一萬張顯卡同時進行巨量又細密的計算,難免會出現 Bug。
這就好像:一萬間教室突然有一個停電了,葫蘆娃同學一慌,把之前看的書給忘了。。。
這一忘不要緊。因為最終的 AI 秘書由每一個葫蘆娃手里的參數所共同支撐,有一個教室的學生學岔劈了,所有教室的學生都得重頭再來。
沒錯,是倒回到新學期第一天,從第一本書開始。。。
就像下圖↓↓↓
不用懷疑,現在人類的技術就是這么水。
為了讓 AI 好歹能訓練完,老師傅摸索出了一個并不優雅的辦法:
每隔一段時間,就讓所有葫蘆娃暫停下,把手里的參數統一抄在本本上,作為一個“檢查點”放在圖書館備著。 萬一后面哪個教室掉鏈子,就全體滾回到最近的“檢查點”開始,總比從頭來要好!
就像醬↓↓↓
這里,壓力又給到了圖書館!
檢查點包括萬億參數,是一個巨巨巨巨大的文件,最大能到 5TB,相當于 3 套《四庫全書》。
圖書館存這么多書,可得要點兒時間呢。。。關鍵是,如果完成這個存檔需要 1 小時,那么下一個存檔最早也要 1 小時之后才能開始。
這中間萬一學校那邊出錯了,就相當于一個小時都白學了。一退就退一個鐘頭,這不又浪費了教學資源嗎?!
也許有人覺得,一個小時還好吧。
給你算算,萬卡集群的成本是幾億美元,核算折舊,加上電費、人力,每回滾一秒就是上百美元的損失,回滾兩分鐘就是近萬美元的損失,回滾一個小時幾十萬美元就沒了。。。
幾十萬美元用來買泡面,得吃幾輩子呀?!
如果圖書館(存儲系統)每秒能存儲 190GB,那情況就完全不同了——存完一個 5TB 的檢查點只需要 26.32 秒。
這意味著,每分鐘都可以存一次檔!存兩次都行!
這就相當于開掛了呀↓↓↓
OK,科普結束,跳回現實。
喬雅楠粗略算了一下,如果達到每秒 190GB 吞吐能力,500 萬 IOPS,對于 AI 廠商來說,每投入 1 快錢在這樣的存儲上,就能得到 10 快錢的收益。這種“一本十利”的買賣,誰能拒絕呢?
這筆賬算完,技術團隊的命數就定了——搞得出來要搞,搞不出來也得搞!
此時,鏡頭緩緩轉向對面的袁清波。背景音樂的鼓點兒已經由遠及近,保溫杯里震起漣漪。。。
生活不止眼前的枸杞,曙光存儲團隊的師傅們已不再是花果山散仙,而是拯救人工智能于水火的“天命人”。
Mission Accepted!
(三)從頭蓋一座圖書館
話說,曙光存儲老師傅之所以敢接這么兇殘的任務,還有個樸素的原因:當時某頂尖美國存儲廠商已經放出風來,他們的下一代產品可以達到 190G 帶寬。
呵,都是一個鼻子兩個眼,美國人能做出來,中國人做不出來??
原地鼓搗了倆禮拜,技術團隊已經非常有信心了:
基于現有的服務器硬件,每秒要吞下 190G,只有一個辦法,讓電流傳輸超過光速~~
所以,做不出來。
今天的淺黑故事就到這里,再見。
等等。。。剛才好像有個限定條件:“基于現有的服務器硬件”。
“如果咱自己從頭設計一套‘存儲專用服務器’,有沒有戲呢?”
袁清波被自己的想法嚇了一跳。
他們可是軟件工程師啊!過去對圖書館做升級,從來都是在既有的房間里改“軟裝”,現在竟然要把“圖書館本身”推倒重蓋,這也太膨脹了。
但老師傅冷靜一想,幾乎可以肯定:美國同行如果沒有推翻相對論,也必須得重新設計服務器。。。至于他們咋設計的,咱也不知道,咱也沒法問。。。
然而,既然做了中國存儲行業的扛把子,摸石頭過河不就是曙光的“天命”嗎?!
估計你已經好奇圖書館里是啥樣子了。
咱們這就鉆進去,和老師傅們一起設計設計。
先介紹主要人物:
書:數據 書架:硬盤 圖書管理員:CPU 管理員的桌子:內存 借書還書的窗口:網卡
咱們一步一步來。先講講過去“舊圖書館”的樣子:
簡單說,通用服務器的設計目標不是“圖書管理”,而是“算數”。
所以,這里的 CPU 不應叫圖書管理員,更應該叫算數員。
只要有題目從窗口進來,算數員就算,算好后返回給窗口。
大多中間步驟數據用完就扔了。只有重要的結果才會歸檔,所以書架放在旁邊即可。
(這里的金色地毯代表硬件通路,數據只能從這里走。)
但是,如果用這個布局直接做圖書館,就有一點兒別扭了。
因為圖書館的管理員沒有那么花哨的計算,主要職能就是“搬運”——把從窗口送進來的書籍放到書架上,以及把書架上的書籍送到窗口。
搬運,講究個絲滑。
大家經常爭搶線路,就不好了。
于是咱可以把布局微調,把圖書管理員的桌子做大一些,讓書架和桌子之間的路寬一些。
這樣想要什么書,管理員放在桌子上“滴”一下,就直接送到窗口了。
除了基礎布局,額外的通路設計也很有講究。
袁清波給我舉了個例子:
圖書館里其實有兩組管理員(兩顆 CPU),每組管理員都有距離自己較近的窗口(網卡)、桌子(內存)和書架(硬盤)。
假設:一個找書的需求從窗口 A 進來,可它要找的那本書離 B 組 4 號管理員更近。
那么,B 組 4 號管理員就得先從架子上把書拿下來,放在自己面前的桌子上,A 組再過來一個管理員,繞到 B 桌,把東西拿回來 A 桌,再從 A 窗口送出去。
這會導致一個問題:這本書會有相當一段時間滯留在桌上。
要是只有一本也就罷了。在每秒幾百萬次的請求中,如果很多書滯留在桌面,就會讓桌面空間吃緊。
它們像管道里的淤泥一樣,影響整個圖書館的周轉速度。
估計你也想到了辦法:
如果想辦法在這里加幾條通道,讓 A 桌管理員能更方便地拿到 B 做的東西,不就能大大減少桌面面積(內存)被占用的時間了嗎?
以上只是為了畫小人方便,把情況進行了極端簡化,真實的解決方案并非如此顯而易見。
但相信你已經有了感覺:硬件布局和通路設計,這兩件事兒對整個存儲系統的*性能上限*影響巨大。
OK,我們繼續回到技術師傅身邊。
他們仰頭,前面出現三座大山:
第一座,把這個服務器給設計出來; 第二座:說服領導同意用“專用存儲服務器”開發下一代存儲產品; 第三座:說服工程技術中心把這服務器給造出來。
先搞“第一座山”。
設計硬件,好像就是在紙上畫畫圖,但實際遠非這么輕松愉快。一顆 CPU 或者一條內存在某種情況下的具體性能,是很難估算準確的。
要想確切了解,只有把硬件拿來實地測試。
袁清波他們開始搭建環境,一點點兒調整圖書館里“桌椅板凳”的位置和遠近。通過觀察性能變化,羅列出所有瓶頸,再從所有瓶頸里尋找最“卡脖子”的部分依次解決。
這種微調,很像玩兒華容道,在方寸里里左挪一下右挪一下,每挪一下都牽連到最終結局。
越做實驗,袁清波他們就對硬件的脾氣越清楚;越清楚,信心就越足。
這些信心在翻越“第二座山”的時候派上了大用。
團隊在肝設計方案
老師傅私下憋了很久才敢和領導提出“把圖書館推倒重蓋”。
聽到這個“非分請求”,領導提出疑問:“新搞一套服務器肯定要成本,團隊努努力,還用標準服務器克服一下有沒有可能?”
“絕不可能!”袁清波拍案而起。
噗地一聲,他從懷里掏出電腦,把最近幾個月做的各種實驗數據一一列舉,跟打辯論一樣,擺出了十來條“舊硬件存在物理極限”的證據。
領導還沒來得及反應,他又話鋒一轉:“再說,咱也不是沒這個實力!”敲下鍵盤,肝了幾個月搞出來的新服務器設計圖出現在屏幕上。
釜底抽薪+貼臉殺,領導好像沒有不答應的道理。。。
拿到了金牌令箭,接下來就要挖“第三座山”——找工程技術部商量生產問題。
這是“外交大使”喬雅楠的任務。
工程技術部的同事聽明來意,其實有點兒錯愕,設計硬件,不是我們的活兒嗎?你們咋給干了?
本來愉快地答應就行,但他們發現一些小問題:
存儲團隊設計的硬件,有很多附加的邏輯和通路,這會提高硬件的制造成本呀!
這些額外的連線,真的有必要嗎?
喬雅楠趕緊把測試軟件拿來,逐一現場演示這些附加的線路都是干啥用的。工程技術部的師傅們點了點頭,隨即又搖了搖頭:“應該還有性價比更高的設計方法吧?”
他們說得有道理,但現實情況是門外的 AI 客戶已經嗷嗷待哺,來不及了呀!!存儲團隊干脆一拍胸脯:“先這么生產,多出來的成本,我們包了!”
就這樣,第三座大山終于被推為平地。
新的服務器拿去量產時,已經到了 2024 年秋天。190G/s 帶寬終于穩了,老師傅回頭一看,這邊還剩一位爺——500 萬 IOPS!
喬雅楠
(四)在 0 和 1 的世界里雕花
我猜還有淺友沒搞清帶寬和 IOPS 的區別。
這里再用圖書館打個比方:
IOPS,指的是圖書館每秒借出去的書有“多少本”; 帶寬,是指圖書館每秒鐘借出去書的總厚度有“多少頁”。
有啥區別呢?
假設圖書館每秒借出的書摞在一起是 1900 萬頁。
如果大多數書都很厚, 每本書有 1900 頁,那 1900 萬頁總共也就 1 萬本。把這些書借出去,管理員們每秒只需要“滴” 1 萬次。這對于光速工作的 CPU 來說壓力不大。
但同樣總共 1900 萬頁,如果每本書只有 5 頁,那每秒鐘管理員就得“滴” 400 多萬次,工作量瞬間多400倍,比在產線上打螺絲還累了!
腫么辦?
一個所有人都能想到的辦法就是:加管理員(CPU)唄。。。
但袁清波的“加”字還沒說出口,就被喬雅楠的 PUA 給打斷了:“我對你們這群大神有信心,現有資源肯定能撐住 500 萬!”
袁清波點點頭:“嗯,我也對自己有信心!”
咱們繼續鉆進圖書館里,看老師傅要怎么搞 IOPS。
話說,在圖書館(服務器)里攏共有 256 個管理員(CPU 核心)。這些管理員如果被充分調度,干到 500 萬 IOPS 是綽綽有余的。
但問題恰恰是:圖書館的日常工作中,調度并不充分!“等待”和“繞路”是常態。
舉兩個:
1)同一時刻,1 號管理員要找 A 書,2 號管理員要找 B 書。可恰巧 A、B 兩本書在書架上挨得很近。
為了防止兩個管理員打架,圖書館就得有規章:一個管理員站在書架前面操作,另一個必須站在一邊等。
2)明明要找的書在 1 號書架上,可是系統隨機指派了距離 1 號書架比較遠的 4 號管理員去取。
4 號就得“跳”過好幾個管理員的位置去拿書。路線一繞,耗時當然就長。
從微觀來看,這些操作真的只多了一丟丟時間,但幾百萬個一丟丟疊加起來,浪費就相當明顯。
要解決這些浪費,就必須到最微觀的細節里動手術。
技術老師傅開動腦筋,琢磨黑科技:
一個黑科技叫“各管一攤”。
比如,1 號管理員,只允許操作 1 號書架,也只允許坐在桌子的”1 號區域”,不能亂跑;2 號管理員只能操作 2 號書架, 只能坐在桌子的“2 號區域”;以此類推。
老師傅把每個獨立的區域稱為“IO 域”。
這樣一來,管理員等待的問題就消失了——一個書架就我一個人負責,哪還會有人跟我搶?
還有個黑科技叫“接力賽跑”。
簡單來說,就是幾個管理員可以共同完成一個借書任務。
例如:1 號管理員站在窗口,只負責接任務;它把任務推給最靠近這本書的 4 號管理員,后者負責把書找回來;如果 4 號管理員比較忙,他就會委托離自己最近同時也有閑的 3 號管理員把書送回到窗口。
就像下圖所示↓↓↓
這樣一來,相當于把一個任務拆散成 N 個,讓壓力*總能*分配到比較閑的管理員身上。
實際上,“調度”是整個存儲系統中最硬核的部分:
每一個 IO,可能有四五個管理員負責接力。一旦系統指派的管理員之間的距離很遠,或者走的路線很別扭,最后肯定還不如一個管理員全干下來快呢!
每一次調度,都像是在 0 和 1 的世界里做微雕。策略用不對,就像刻刀抖了一下,滿盤皆輸。
但我之前介紹過,曙光存儲的師傅搞操作系統可是純純童子功,人均”微雕大師“。
十年飲冰,終于等到一朝噴火,此時不干,更待何時?他們擼胳膊挽袖子,各種眼花繚亂的調度策略都往上招呼!
這時,袁清波突然慶幸去年“把圖書館推倒重蓋”的選擇是多么正確——很多調度策略必須通過特定的通路才能實現,要不是堅持做了專用服務器,這些騷操作有一多半兒都玩不出來。。。
你看,真正的高手,每一招都不是獨立的,而是承接前手,招招相連,不是加法是乘法。(戰術后仰)
一次次測試中,500萬 IOPS 的目標逐漸逼近。
就在老師傅緊鑼密鼓地在 0 和 1 的世界里雕花的時候,門外突然殺來幾個神秘壯漢。
開門一看,這。。。可是曙光存儲期待已久的貴客。
(五)殺入“主戰場”
敲響大門的,是幾家頭部的云計算廠商。
按理說,計算和存儲本是榫卯不離的好基友。但實際情況是,在過去幾年云計算蓬勃發展的歷史里,它和企業級存儲卻并沒有很榫卯的合作。
原因也簡單:云計算廠商自己也有”云存儲”產品,云存儲玩的是一個“容量巨大,價格低廉、兼容各種硬件”。
但有得必有失:既然選擇了性價比和兼容性,極限性能就會受限。
好在過去幾年,大多云上用戶并沒有對存儲有特別兇殘的需求,云存儲游刃有余。
但 AI 時代的朝霞突然降臨,“云上圖書館”支撐高級的 AI 學校開始吃力。
AI 客戶拍拍錢包:兄嘚,還有沒有更高性能的存儲產品?多少錢,我買!
這么一來,云廠商就得主動去市場上尋找更專業的存儲系統,于是敲響了曙光存儲的山門,請大佬出山!
表面上劉備三顧茅廬,其實孔明也同樣需要劉備。。。
因為存儲系統自己孤芳自賞是不夠的,它要知道自己的上家——計算系統——需要什么姿勢!
云計算是前沿計算的“主戰場”。武器只有開進主戰場,才會面對最復雜的戰情,才能看到最真實的需求,才能成為更強的武器!
主戰場的戰況很復雜。
咱就說一個角度:“CPU 和 GPU 的暗戰”。
話說,在過去的幾十年里,CPU 都是賽博世界的王,所有的資源都是圍繞它來設置的。
比如:內存是 CPU 的小弟,CPU 手里抓不下的數據,就放在內存上。網卡也是 CPU 的小弟,它接到的數據都得由 CPU 先臨幸一下,再進一步分配。
但 AI 崛起后,GPU 這個“新王”蘇醒。
計算的重擔雖移到了 GPU 身上,可數據通路卻仍由 CPU 霸占。
GPU 查看內存里的數據,需要 CPU 點頭;
GPU 要用硬盤里的數據,不僅要 CPU 點頭,還得從內存里涮一水,才能進自己的顯存。
關鍵是,你 CPU 和內存的速度都不如我快呀。。。
“新王”不開心,思考各種辦法繞開 CPU。
英偉達研發出了一個名叫 GDS 的協議——GPU 能直接把數據從存儲系統拉到自己的顯存里。這樣就能和 CPU 說白拜,數據傳輸大大加快。
當然,前提是存儲系統也得支持這個 GDS 協議。
曙光存儲也支持 GDS 就行了唄?
行,但不夠。
因為你懂的原因,中國的 AI 訓練早已不止用英偉達 GPU,越來越多國產 GPU 在奔赴戰場。
曙光存儲索性一波帶走,支持市面上所有的 GPU 直讀協議,起名叫做 XDS。
即使繞過 CPU 和存儲系統直接溝通,新王 GPU 還嫌不夠快。
畢竟 GPU 和存儲系統中間還有一根網線相連,這里網絡的速度也可能限制 GPU 發揮實力。
能不能把這根網線也去掉?
當然那根實際的網線沒辦法去掉,但是有些黑科技可以讓網線“變粗”。
曙光老師傅從超算中借鑒了一個技術——Burst Buffer。
簡單來說就是,在網絡不太忙的時候,把將來可能用到的數據先從存儲系統倒騰到 GPU 所在服務器的本地硬盤里。
這樣,接下來的事情就都發生在 GPU 的機箱內部,就沒網線什么事兒了,速度超快。
注意,Burst Buffer 只是存儲系統在計算系統里的飛地,本質上還屬于存儲系統的一部分。
這意味著,老師傅的責任變多了。。。不僅要讓數據能夠穩定轉移到這些飛地上,還要保證這些數據能實時同步,不出現錯漏。。。
以上種種,其實都可以稱為“AI 加速技術”,屬于存儲系統的“高階技能”。
說到這些高階技能,喬雅楠很感慨。
她帶曙光分布式存儲產品已經7年了,就在2023年以前,她一度覺得存儲系統變成了“價格的廝殺”:
當時即便我們做了高階功能,遠程復制,各種克隆快照,業務用的也不多。 說到底,存儲系統再厲害,業務發揮不出來,就無法感受到存儲真正的價值。
但這一切都在 2023年反轉。
AI 全民化時代的降臨,讓存儲性能成了關乎生死的“大殺器”;
云計算,又讓存儲的各種高階功能真正成了剛需。
在我探訪的時候,有一個明顯的感覺:團隊師傅雖然比過去幾年忙了十倍,但大伙兒心里有種說不出的美滋滋。那是一種“被需要”的幸福。
在時光中漫長等待,他們不再是誰的附屬。
存儲有了自己的主戰場!
就在 2025 年 3 月,曙光驕傲地推出了最新一代分布式存儲產品 ParaStor F9000,不僅達到了190GB/s 帶寬和 500萬 IOPS 這兩個核心性能,還帶著 XDS、BurstBuffer 和各種 AI 加速特性。
它看上去只是一個性冷淡的“大方盒”,但當你了解了這些細密電路中纏繞的點滴故事,也許會從嘶嘶電流的吟唱中,聽到“天命人”對自己的回答。
ParaStor F9000
(六)數據的生命
2025 年,DeepSeek 橫空出世,給曙光存儲的師傅帶來一個好消息和一個壞消息。
好消息是:“AI 秘書”的成本有望大幅下降,長期看對存儲的需求更旺盛;
壞消息是:AI 對存儲的要求也在劇烈變化,存儲產品稍不留神就會掉隊。
但無論科技樹的枝丫怎么生長,它的根基永遠不會變。
我們不妨從生命的角度來理解數據。
AI 的靈魂是從數據的母體中浮現的。這意味著,要想孕育一個強大的 AI 生命,數據本身的生命周期要更長、更寬廣。
這就引出了存儲在時間線上的左右延展:
在訓練 AI 之前,要滿足數據的收集和清洗。 在訓練 AI 之后,要滿足數據的歸檔和冷卻。
先說 AI 訓練之前。
喬雅楠告訴我,數據存儲有很多種格式。
在數據收集階段,會大量提取互聯網上的數據,它們以“對象”的形式存儲;但這些數據卻不能直接訓練 AI,AI 用到的課本以“文件”的形式存儲更合適。
所以,存儲系統就必須具備一個能力:
同一套數據,能用對象的格式讀寫,也能用文件的格式讀寫。
老師傅于是做了一個“翻譯官”,底層使用文件存儲,當你要用對象的格式提取時,翻譯官就把“文件”翻譯成“對象”。
但袁清波并不滿意,因為翻譯不夠優雅,也存在資源損耗。
最近他們在想辦法踢掉翻譯官,讓存儲系統自己學會”雙語“:你用對象格式請求,它就給你對象數據,你用文件格式請求,它就給你文件數據。
再說 AI 訓練之后。
好不容易收集的數據,訓練之后肯定不能丟,應該存起來,以備將來再次訓練或者不時之需。
于是,怎樣讓數據以最低成本沉睡歸檔,就成了一個問題。
目前存儲的介質主要分為兩種:“成本高但速度快的閃存”和“成本低但速度慢的機械硬盤”。
在訓練的時候,當然必須放到閃存介質中;但在訓練之后,再霸占閃存里就有點兒浪費了。
喬雅楠告訴我,為這事兒曙光存儲專門搞了一個 S6000 “分層存儲”混閃產品,里面有一小部分閃存盤,一大部分機械盤。
在訓練時,會自動把數據推到閃存中,訓練完畢,又會自動落回到機械硬盤中。
他們稱之為“冷熱數據分層技術”。
由于冷熱數據是由系統自動挪移的,所以只要在合理的負載范圍內使用,你會發現 S6000 的性能會和純閃設備一樣,但存儲成本卻比純閃設備低很多。
ParaStor S6000
這種自由游動的感覺,昭示了存儲系統的未來:
也許某一天,只用一套存儲系統就可以承載“AI 秘書的一生”:
無論在訓練之前、訓練之中、訓練之后,AI 師傅都只需要關心自己的學校。完全不用操心圖書館這邊的吞吐帶寬、讀取速率、存儲成本、數據格式等等亂七八糟的事情。。。
數據有了生命,它會自己尋找道路。
告別前,袁清波悄悄告訴我,他已經領到了新任務——在下一代存儲產品上讓性能繼續暴漲。為此,老師傅不止定制了新服務器,還定制了 CPU。
CPU 是說定制就定制的嗎?
沒錯,因為它是國產的。
多說一句,由于美國實體清單的制裁,曙光從 2019 年以來就已經無法使用美國的關鍵技術了,所以今天講述的曙光產品全部是基于國產芯片研發的。
無獨有偶,中國存儲行業的另一個巨頭華為也享受了同樣的待遇。
這意味,整個中國高端存儲行業必須在國產技術棧之上生根發芽,而且已經枝蔓粗壯。
回望來路,技術老師傅從沒有能力左右世界局勢,也沒有能力解決政治紛爭。他們能做的,只是在漫長的冬季守護花朵,期待它們在春天綻放。
而所謂天命人,也無非是讓洶涌的扼殺之刃穿過身體,化作滂沱的成全之雨。
方寸騰挪
賽博狠活
再自我介紹一下吧。我叫史中,是一個傾心故事的科技記者。我的日常是和各路大神聊天。如果想和我做朋友,可以搜索微信:shizhongmax。
哦對了,如果喜歡文章,請別吝惜你的“在看”或“分享”。讓有趣的靈魂有機會相遇,會是一件很美好的事情。
Thx with in Beijing
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.