![]()
亞馬遜云科技(AWS)正在通過(guò)引入原生文件系統(tǒng)接口,讓其S3對(duì)象存儲(chǔ)服務(wù)對(duì)AI智能體更加友好。這一全新接口被命名為S3 Files,它將徹底解決長(zhǎng)期以來(lái)S3低成本優(yōu)勢(shì)與傳統(tǒng)文件系統(tǒng)(或亞馬遜彈性文件系統(tǒng)EFS)交互性之間的矛盾。
AWS首席開(kāi)發(fā)者倡導(dǎo)者塞巴斯蒂安·斯托馬克在一篇博文中寫(xiě)道:"該文件系統(tǒng)將S3對(duì)象以文件和目錄的形式呈現(xiàn),支持網(wǎng)絡(luò)文件系統(tǒng)(NFS)v4.1及以上版本的全部操作,包括文件的創(chuàng)建、讀取、更新與刪除。"
斯托馬克表示,該文件系統(tǒng)可直接從任何AWS計(jì)算實(shí)例、容器或函數(shù)中訪問(wèn),適用范圍涵蓋生產(chǎn)應(yīng)用、機(jī)器學(xué)習(xí)訓(xùn)練及AI智能體系統(tǒng)等多種場(chǎng)景。
分析師認(rèn)為,此次可訪問(wèn)性的升級(jí)是AWS的一項(xiàng)戰(zhàn)略舉措,旨在將S3定位為AI智能體和現(xiàn)代應(yīng)用的核心數(shù)據(jù)層,從而突破其在數(shù)據(jù)湖和批量分析領(lǐng)域的傳統(tǒng)定位。
Everest Group實(shí)踐總監(jiān)考斯圖布·K表示:"AWS正在將S3與AI、分析及分布式應(yīng)用需求對(duì)齊,這些場(chǎng)景需要對(duì)對(duì)象存儲(chǔ)中的數(shù)據(jù)進(jìn)行低延遲的共享文件訪問(wèn)。這一舉措回應(yīng)了機(jī)器學(xué)習(xí)訓(xùn)練、AI智能體系統(tǒng)以及多節(jié)點(diǎn)工作負(fù)載日益增長(zhǎng)的需求——這些場(chǎng)景需要在無(wú)需將數(shù)據(jù)移出S3的前提下,支持并發(fā)讀寫(xiě)訪問(wèn)。"
Pareekh Consulting首席分析師帕里克·賈因指出,在S3尚不具備文件系統(tǒng)能力的情況下,開(kāi)發(fā)和部署AI智能體系統(tǒng)及其他現(xiàn)代應(yīng)用的企業(yè),通常不得不另行使用獨(dú)立的存儲(chǔ)系統(tǒng),或?qū)Υ鎯?chǔ)在S3中的數(shù)據(jù)進(jìn)行復(fù)制、同步和分層處理,這不僅引入了延遲和數(shù)據(jù)不一致問(wèn)題,還帶來(lái)了額外的運(yùn)營(yíng)開(kāi)銷。
考斯圖布還指出,部分開(kāi)發(fā)者曾借助s3fs或Mountpoint等基于FUSE的工具在S3之上模擬文件系統(tǒng),但這類工具普遍存在鎖機(jī)制不完善、一致性保障缺失以及增量更新效率低下等問(wèn)題。
相比之下,賈因表示,S3 Files通過(guò)原生支持文件操作——包括權(quán)限管理、文件鎖定和增量更新——從根本上解決了上述局限性。
他進(jìn)一步指出,這將顯著降低開(kāi)發(fā)者的使用門(mén)檻,現(xiàn)有基于文件的工具無(wú)需任何改動(dòng)即可直接運(yùn)行,開(kāi)發(fā)者也無(wú)需再為對(duì)象存儲(chǔ)專門(mén)重寫(xiě)應(yīng)用程序。賈因說(shuō):"對(duì)于AI智能體的構(gòu)建也將變得更加簡(jiǎn)便,智能體可以直接讀寫(xiě)文件、存儲(chǔ)記憶并共享數(shù)據(jù)。總體而言,這減少了對(duì)同步任務(wù)、緩存層和文件適配器等'膠水代碼'的依賴。"
這一變化對(duì)于CIO來(lái)說(shuō)同樣意義重大——它將數(shù)據(jù)湖、文件系統(tǒng)和分層存儲(chǔ)等所有組件統(tǒng)一整合至Amazon S3,從而簡(jiǎn)化了數(shù)據(jù)架構(gòu)。
賈因表示:"這一方案通過(guò)消除數(shù)據(jù)冗余、精簡(jiǎn)數(shù)據(jù)管道、降低運(yùn)營(yíng)開(kāi)銷來(lái)控制成本,同時(shí)以單一可信數(shù)據(jù)源替代分散的數(shù)據(jù)副本,有效提升了數(shù)據(jù)治理水平。"
S3 Files目前已正式上線,用戶可通過(guò)AWS管理控制臺(tái)或命令行界面(CLI)訪問(wèn),并在其中完成文件系統(tǒng)的創(chuàng)建、掛載和部署操作。
Q&A
Q1:S3 Files是什么?它主要解決什么問(wèn)題?
A:S3 Files是AWS為其S3對(duì)象存儲(chǔ)服務(wù)推出的原生文件系統(tǒng)接口,支持NFS v4.1及以上版本的標(biāo)準(zhǔn)文件操作,包括創(chuàng)建、讀取、更新和刪除文件。它主要解決了S3低成本優(yōu)勢(shì)與文件系統(tǒng)交互性之間長(zhǎng)期存在的矛盾,讓開(kāi)發(fā)者無(wú)需額外的同步任務(wù)或數(shù)據(jù)拷貝,即可直接對(duì)S3中的數(shù)據(jù)執(zhí)行文件操作,大幅降低了延遲和運(yùn)營(yíng)復(fù)雜度。
Q2:S3 Files對(duì)AI智能體開(kāi)發(fā)有什么具體幫助?
A:S3 Files讓AI智能體可以直接讀寫(xiě)文件、存儲(chǔ)記憶狀態(tài)并在多個(gè)智能體之間共享數(shù)據(jù),無(wú)需依賴額外的緩存層、同步腳本或文件適配器等"膠水代碼"。此外,由于支持并發(fā)讀寫(xiě)和原生鎖機(jī)制,多節(jié)點(diǎn)、多智能體的協(xié)作工作負(fù)載也能得到更好的支持,整體上顯著降低了智能體系統(tǒng)的開(kāi)發(fā)與維護(hù)門(mén)檻。
Q3:企業(yè)CIO采用S3 Files能帶來(lái)哪些架構(gòu)層面的收益?
A:對(duì)于CIO而言,S3 Files最直接的價(jià)值在于簡(jiǎn)化數(shù)據(jù)架構(gòu)——原本分散在數(shù)據(jù)湖、獨(dú)立文件系統(tǒng)和各類分層存儲(chǔ)中的數(shù)據(jù),可以統(tǒng)一整合到Amazon S3中管理。這不僅減少了數(shù)據(jù)冗余和復(fù)雜的數(shù)據(jù)管道,降低了運(yùn)營(yíng)成本,還通過(guò)建立單一可信數(shù)據(jù)源來(lái)提升數(shù)據(jù)治理水平,避免了多份數(shù)據(jù)副本帶來(lái)的一致性風(fēng)險(xiǎn)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.