北京
AI優(yōu)化AI這件事，終于從論文標(biāo)題走進(jìn)了代碼倉(cāng)庫(kù)。Meta最近放出一組實(shí)驗(yàn)：讓一個(gè)大模型去審另一個(gè)大模型的代碼，結(jié)果只改了一行，內(nèi)存占用直接砍了四成。
這事聽(tīng)起來(lái)像程序員之間的"代碼審查"，但審查者和被審查者都是AI。實(shí)驗(yàn)里，優(yōu)化Agent會(huì)盯著目標(biāo)模型的推理過(guò)程，找那些"看起來(lái)能省"的內(nèi)存操作——比如重復(fù)分配的緩存、沒(méi)必要的張量拷貝。找到之后它不解釋，直接生成補(bǔ)丁。
最狠的一個(gè)案例來(lái)自Llama系列的某個(gè)中間版本。優(yōu)化Agent在注意力機(jī)制里發(fā)現(xiàn)一處冗余：前向傳播時(shí)，同一個(gè)中間結(jié)果被存了兩次，第二次根本沒(méi)人用。「刪掉這一行，峰值內(nèi)存從7.2GB掉到4.3GB，精度沒(méi)掉。」項(xiàng)目文檔里這么寫的。
41%這個(gè)數(shù)字是多個(gè)測(cè)試案例的平均值。有些模型只省了8%，也有極端案例一口氣砍掉60%。Meta沒(méi)說(shuō)的是：優(yōu)化Agent自己也會(huì)犯錯(cuò)——它曾把一處"看起來(lái)沒(méi)用"的初始化代碼刪掉，導(dǎo)致模型在特定輸入下直接崩潰。
現(xiàn)在這套流程跑在Meta的內(nèi)部CI里，每次新模型提交，先讓AI"自砍一刀"再進(jìn)人工 review。有工程師在討論區(qū)吐槽：以前怕AI寫bug，現(xiàn)在得防著AI刪代碼刪過(guò)頭。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
