快科技4月15日消息，前Windows核心開發(fā)者Dave Plummer在一臺47年前的PDP-11/44計(jì)算機(jī)上，成功運(yùn)行了Transformer模型，用6MHz CPU和64KB內(nèi)存完成了AI訓(xùn)練。

這臺PDP-11運(yùn)行的模型名為ATTN-11，由Damien Boureille用PDP-11匯編語言編寫，實(shí)現(xiàn)一個(gè)單層、單頭的 Transformer，僅包含1216個(gè)參數(shù)。

模型的任務(wù)看似簡單，即輸入一串?dāng)?shù)字，輸出其反序結(jié)果，但要完成這一任務(wù)，模型必須自主學(xué)習(xí)到序列反轉(zhuǎn)的結(jié)構(gòu)規(guī)則，Plummer認(rèn)為這恰恰抓住了ChatGPT等現(xiàn)代大模型的工作本質(zhì)。

為了在極其有限的硬件上運(yùn)行，ATTN-11做了大量極致優(yōu)化，前向傳播精度裁剪至8位定點(diǎn)數(shù)，每一個(gè)CPU周期都經(jīng)過優(yōu)化。

最終Plummer借助一塊緩存板，在約350個(gè)訓(xùn)練步驟后讓模型達(dá)到了100%準(zhǔn)確率，整個(gè)過程耗時(shí)約3.5分鐘。

Plummer在視頻中這樣描述訓(xùn)練過程："模型一開始很蠢，損失值很高，然后在某個(gè)時(shí)刻，權(quán)重開始收斂，注意力機(jī)制發(fā)現(xiàn)了反轉(zhuǎn)映射，機(jī)器跨過了那條從猜測到認(rèn)知的無形界線。"

他的核心觀點(diǎn)是：現(xiàn)代AI的本質(zhì)并非什么神秘力量，而是"機(jī)器反復(fù)更新數(shù)千個(gè)加權(quán)連接的強(qiáng)度，使下一次答案比上一次稍微不那么錯"。

Plummer最后指出，隨著算力資源日益成為瓶頸，能夠回歸對效率和優(yōu)化的極致追求的公司，將在未來的AI競爭中占據(jù)更大優(yōu)勢。