![]()
英偉達(dá)應(yīng)用深度學(xué)習(xí)研究部門副總裁布萊恩·卡坦扎羅。圖片來源:Photo courtesy of Nvidia
過去一周,AI領(lǐng)域依舊動(dòng)蕩不斷:Anthropic因擔(dān)憂網(wǎng)絡(luò)安全風(fēng)險(xiǎn),決定暫不發(fā)布全新的Claude Mythos模型(同時(shí)成立聯(lián)盟,利用該模型的預(yù)覽版本來強(qiáng)化網(wǎng)絡(luò)安全防御);Meta在聘請(qǐng)汪滔加盟后發(fā)布首個(gè)AI模型;此外,市場(chǎng)對(duì)OpenAI即將推出的新模型“Spud”的預(yù)期持續(xù)升溫。
當(dāng)前,大多數(shù)AI模型都依賴英偉達(dá)GPU運(yùn)行。這些AI芯片技術(shù)復(fù)雜、價(jià)格高昂(單價(jià)超過3萬(wàn)美元),是模型訓(xùn)練和推理的核心引擎。但放眼整個(gè)行業(yè),獲取GPU芯片仍然是繞不開的瓶頸。例如,OpenAI總裁格雷格·布羅克曼就曾形容,公司內(nèi)部的GPU分配過程堪稱“痛苦不堪”。
而在本周于舊金山舉行的HumanX大會(huì)上,筆者發(fā)現(xiàn),即便在英偉達(dá)(Nvidia)內(nèi)部,GPU同樣是稀缺資源。
筆者采訪了英偉達(dá)應(yīng)用深度學(xué)習(xí)研究負(fù)責(zé)人布萊恩·卡坦扎羅。他帶領(lǐng)的團(tuán)隊(duì)從事AI驅(qū)動(dòng)的圖形、語(yǔ)音識(shí)別和仿真等方向的研究。早在2010年代早中期,卡坦扎羅就是最早注意到研究人員開始搶購(gòu)英偉達(dá)GPU用于訓(xùn)練AI模型的人之一,這一趨勢(shì)也促使公司首席執(zhí)行官黃仁勛加碼AI布局,為英偉達(dá)如今的史詩(shī)級(jí)增長(zhǎng)奠定了基礎(chǔ)。
但如今,即便是卡坦扎羅的團(tuán)隊(duì)也難以獲得充足的GPU。他表示:“我們的團(tuán)隊(duì)在工作中高度依賴AI,他們最大的抱怨就是額度不夠。他們想要更多GPU。”
“效率本身也是一種智能”
事實(shí)上,他表示,自己目前的一項(xiàng)主要工作就是盡可能為團(tuán)隊(duì)爭(zhēng)取更多算力資源。他說道:“我們都面臨供應(yīng)限制。黃仁勛會(huì)說,‘抱歉,布萊恩,那些芯片都賣光了。’我們只能在這樣的限制下開展工作。”
卡坦扎羅負(fù)責(zé)的項(xiàng)目之一,是帶領(lǐng)團(tuán)隊(duì)開發(fā)英偉達(dá)的Nemotron系列模型。這是一組開源模型,用戶可以自由下載、使用、研究或修改。需要說明的是,英偉達(dá)并不打算在模型領(lǐng)域與OpenAI、Anthropic等公司正面競(jìng)爭(zhēng)。相反,其打造這些模型旨在強(qiáng)化開發(fā)者生態(tài)系統(tǒng),使其依賴英偉達(dá)的軟硬件體系。
Nemotron系列模型以極高的GPU利用效率著稱。卡坦扎羅表示,正是英偉達(dá)內(nèi)部也面臨GPU短缺,才倒逼團(tuán)隊(duì)不斷提升Nemotron模型的效率。他表示:“在供應(yīng)受限的環(huán)境中,效率本身也是一種智能。”
不再只是“科研項(xiàng)目”
不過,令人意外的是,提升效率并未損害商業(yè)利益。卡坦扎羅表示,這是“杰文斯悖論”在起作用:當(dāng)某件事變得更高效時(shí),需求反而往往會(huì)激增。他表示:“當(dāng)某件事物的效率提升時(shí),人們總會(huì)找到各種新的使用方式。”
不過他也承認(rèn),Nemotron在英偉達(dá)內(nèi)部關(guān)注度的提升,同樣幫助團(tuán)隊(duì)獲得了更多資源。“我們做這個(gè)項(xiàng)目已經(jīng)很久了,但直到最近六個(gè)月才真正受到重視。隨著公司內(nèi)部越來越理解這項(xiàng)工作的重要性,溝通變得更順暢、協(xié)作更緊密,公司也給予我們更多支持。”
他補(bǔ)充說,英偉達(dá)已經(jīng)意識(shí)到,不能再對(duì)AI生態(tài)系統(tǒng)采取“放手不管”的態(tài)度。過去,公司可以依賴其他企業(yè)開發(fā)模型和應(yīng)用來帶動(dòng)芯片需求。但如今,隨著AI競(jìng)爭(zhēng)加劇、芯片供應(yīng)緊張,英偉達(dá)認(rèn)為自己應(yīng)當(dāng)在生態(tài)系統(tǒng)發(fā)展中扮演更積極的角色。
他表示:“過去,有人認(rèn)為我們可以讓生態(tài)系統(tǒng)自行發(fā)展。但現(xiàn)在很明顯,英偉達(dá)需要承擔(dān)更重要的角色——Nemotron帶來的既是責(zé)任,也是機(jī)遇。”
這種定位也有助于提升Nemotron在英偉達(dá)內(nèi)部的地位,畢竟各團(tuán)隊(duì)都在爭(zhēng)奪稀缺的GPU資源。卡坦扎羅表示:“這已經(jīng)不是一個(gè)科研項(xiàng)目。這不僅僅是我為團(tuán)隊(duì)爭(zhēng)取資源的問題,還關(guān)系到英偉達(dá)的未來。”(財(cái)富中文網(wǎng))
譯者:劉進(jìn)龍
審校:汪皓
財(cái)富中文網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為財(cái)富媒體知識(shí)產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可,禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及建立鏡像等任何使用。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.