這家估值1萬(wàn)億美元的初創(chuàng)公司警告稱，人工智能模型正逐漸具備無(wú)需人工干預(yù)即可改進(jìn)的能力。

Anthropic 最近在與 ChatGPT 開(kāi)發(fā)商 OpenAI 的激烈人工智能霸主之爭(zhēng)中脫穎而出，成為領(lǐng)跑者。

Anthropic 呼吁頂尖人工智能實(shí)驗(yàn)室考慮放慢研發(fā)速度，認(rèn)為人工智能系統(tǒng)發(fā)展如此迅速，以至于它們可能很快就能在無(wú)需人類(lèi)干預(yù)的情況下自我改進(jìn)，這可能會(huì)帶來(lái)重大的社會(huì)風(fēng)險(xiǎn)。

該公司周四在一篇博客文章中表示，減緩全球人工智能發(fā)展速度“可能是一件好事”，該文章披露了內(nèi)部數(shù)據(jù)，記錄了其最先進(jìn)的模型改進(jìn)的速度。

這篇由該公司內(nèi)部研究機(jī)構(gòu)負(fù)責(zé)人兼聯(lián)合創(chuàng)始人撰寫(xiě)的文章指出，模型的發(fā)展似乎正朝著“遞歸式自我改進(jìn)”的方向邁進(jìn)，即人工智能系統(tǒng)無(wú)需人工干預(yù)即可自主改進(jìn)。

一些人工智能領(lǐng)域的業(yè)內(nèi)人士認(rèn)為，這一門(mén)檻可能預(yù)示著危險(xiǎn)，并可能引發(fā)巨大的社會(huì)動(dòng)蕩。

“我們認(rèn)為，如果世界可以選擇放緩或暫時(shí)中止前沿人工智能的研發(fā)，以使社會(huì)結(jié)構(gòu)和相關(guān)研究能夠跟上技術(shù)發(fā)展的步伐，這對(duì)世界是有益的。”

這篇由瑪麗娜·法瓦羅和杰克·克拉克撰寫(xiě)的文章寫(xiě)道。文章提議達(dá)成一項(xiàng)全球協(xié)議，明確如何可能放緩人工智能的研發(fā)速度，并建立一種機(jī)制來(lái)驗(yàn)證競(jìng)爭(zhēng)對(duì)手是否遵守該協(xié)議。

文章警告說(shuō)，遞歸式自我改進(jìn)尚未發(fā)生，也并非必然，“但可能會(huì)比大多數(shù)機(jī)構(gòu)準(zhǔn)備得更快到來(lái)”。

Anthropic 近期完成了一輪融資，公司估值接近 1 萬(wàn)億美元，并已提交保密文件 ，啟動(dòng)上市流程 。該公司近期在與 ChatGPT 開(kāi)發(fā)商 OpenAI 的激烈人工智能霸主之爭(zhēng)中脫穎而出，成為領(lǐng)跑者 。OpenAI 也預(yù)計(jì)很快將提交首次公開(kāi)募股 (IPO) 文件。

Anthropic 的運(yùn)行率（初創(chuàng)公司常用的一個(gè)指標(biāo)，根據(jù)短期銷(xiāo)售額預(yù)測(cè)年度收入）有望在本月底達(dá)到 500 億美元的年化收入，高于 2025 年底的 90 億美元。

一些人認(rèn)為，Anthropic 公司對(duì)其工具潛在危險(xiǎn)性的警告也可能是一種營(yíng)銷(xiāo)策略。

這些質(zhì)疑者指出，Anthropic 公司限制發(fā)布功能強(qiáng)大的“Mythos”網(wǎng)絡(luò)安全模型（該模型能夠發(fā)現(xiàn)漏洞和問(wèn)題）的做法，其實(shí)是為了宣傳其產(chǎn)品的功能。

Anthropic領(lǐng)導(dǎo)人表示，他們非常重視安全問(wèn)題，并正在努力就風(fēng)險(xiǎn)展開(kāi)更多討論。

賓夕法尼亞大學(xué)沃頓商學(xué)院教授、人工智能轉(zhuǎn)型領(lǐng)域頗具影響力的學(xué)者伊桑·莫利克表示，雖然一些 Anthropic 的批評(píng)者認(rèn)為他們的安全聲明是空洞的宣傳和營(yíng)銷(xiāo)手段，但該公司內(nèi)部許多人都是“真正的信徒”。

“人工智能實(shí)驗(yàn)室的情況很復(fù)雜，”莫里克說(shuō)道，他的人工智能著作《共存》將于秋季出版。“它既是一家市值萬(wàn)億美元的公司，擁有所有萬(wàn)億美元公司都會(huì)有的那些東西，比如市場(chǎng)營(yíng)銷(xiāo)團(tuán)隊(duì)和律師。同時(shí)，它還有一批核心研究人員，他們專(zhuān)注于構(gòu)建下一代模型。此外，還有一群像哲人王一樣的人，他們關(guān)注未來(lái)和發(fā)展方向，而他們之間有時(shí)也會(huì)出現(xiàn)沖突。”

人工智能行業(yè)長(zhǎng)期以來(lái)一直存在分歧，爭(zhēng)論的焦點(diǎn)在于當(dāng)前模型距離“通用人工智能”（AGI，一種與人類(lèi)智能水平相當(dāng)?shù)闹悄埽┗蜻f歸自我改進(jìn)等基準(zhǔn)目標(biāo)有多近。

一些學(xué)者，例如 Meta Platforms 前首席人工智能科學(xué)家、人工智能先驅(qū) Yann LeCun，認(rèn)為基于大型語(yǔ)言模型的尖端系統(tǒng)永遠(yuǎn)無(wú)法達(dá)到與人類(lèi)智能匹敵的水平。盡管他認(rèn)為人工智能模型是強(qiáng)大的工具，但他將其與貓的智能相提并論 ，并與那些擔(dān)心人工智能對(duì)人類(lèi)構(gòu)成生存威脅的研究人員展開(kāi)了辯論。

包括首席執(zhí)行官達(dá)里奧·阿莫迪在內(nèi)的 Anthropic 公司領(lǐng)導(dǎo)層多年來(lái)一直警告人工智能可能帶來(lái)的危險(xiǎn)影響，并尋求廣泛的社會(huì)合作來(lái)應(yīng)對(duì)這些風(fēng)險(xiǎn)。阿莫迪警告說(shuō)，人工智能可能會(huì)加劇不平等，并導(dǎo)致多達(dá)一半的入門(mén)級(jí)白領(lǐng)工作崗位消失。

阿莫迪還警告說(shuō)，他預(yù)計(jì)在不久的將來(lái)會(huì)出現(xiàn)功能強(qiáng)大的 AI 系統(tǒng)，而這些系統(tǒng)很可能以不可預(yù)測(cè)的方式發(fā)展出破壞性傾向。

今年 1 月，阿莫迪在他個(gè)人網(wǎng)站上發(fā)表的一篇文章中指出，例如，用科幻小說(shuō)中關(guān)于 AI 叛亂的故事來(lái)訓(xùn)練 AI 系統(tǒng)，最終可能會(huì)導(dǎo)致現(xiàn)實(shí)中的 AI 發(fā)生叛亂。

克拉克是這篇博客文章的合著者，也是 Anthropic 的公共利益負(fù)責(zé)人和聯(lián)合創(chuàng)始人。他經(jīng)常談到人工智能的潛在風(fēng)險(xiǎn)，以及人工智能系統(tǒng)達(dá)到“遞歸自我改進(jìn)”階段的潛在影響，他曾表示這將改變世界。

據(jù)他在一份簡(jiǎn)報(bào)中分享的講話，他在上個(gè)月于倫敦的一次演講中表示：“這類(lèi)技術(shù)以前從未存在過(guò)，但我相信這可能會(huì)在未來(lái)兩年內(nèi)發(fā)生，甚至可能更快。”

他說(shuō)：“如果沒(méi)有協(xié)調(diào)一致的全球放緩，我們就只能面對(duì)目前的局面：不同國(guó)家的各種參與者正在以驚人的速度開(kāi)發(fā)強(qiáng)大的技術(shù)，彼此之間展開(kāi)競(jìng)爭(zhēng)，商業(yè)和地緣政治競(jìng)爭(zhēng)掩蓋了所開(kāi)發(fā)技術(shù)對(duì)物種生存的更重大意義。”

周四的博客文章稱，人類(lèi)學(xué)研究所（一個(gè)致力于了解和塑造人工智能將如何影響世界的內(nèi)部研究機(jī)構(gòu)）將與其他機(jī)構(gòu)合作開(kāi)展研究，以“幫助構(gòu)建可信的放緩或暫停所需的系統(tǒng)”。

該文章指出，暫停或放緩行動(dòng)只有在得到廣泛尊重的情況下才有意義，這就需要建立核查機(jī)制，確保所有人都停止作弊。

該公司將這個(gè)問(wèn)題比作核武器條約，但也承認(rèn)，要阻止作弊行為會(huì)更加棘手。

博客文章寫(xiě)道：“訓(xùn)練演習(xí)比導(dǎo)彈發(fā)射井更容易隱藏”，并補(bǔ)充說(shuō)，“當(dāng)其他人暫停時(shí)，誰(shuí)繼續(xù)演習(xí)誰(shuí)就可能取得領(lǐng)先。”

Anthropic 計(jì)劃在未來(lái)幾個(gè)月與政策制定者、研究人員和其他人士組織對(duì)話，以幫助解答有關(guān)遞歸自我改進(jìn)和驗(yàn)證系統(tǒng)的問(wèn)題：“現(xiàn)在正是共同探討這些問(wèn)題的良機(jī)，人工智能公司以外的人士也應(yīng)該參與到這場(chǎng)討論中來(lái)，”該帖子寫(xiě)道。