Hinton吹哨了：AI已經有意識！
來源：量子位 | 公眾號 QbitAI 聽雨 發自 凹非寺

AI已經有意識，人類得接受自己不再是唯一智能生命體。

這就是AI教父、諾貝爾物理學獎得主、圖靈獎得主Geoffrey Hinton，最新說出的暴論！

是的，Hinton認為，智能不再是人類獨有的能力。

一種非生物的、與我們相似甚至超越我們的智能體，正在出現。

我們一直以為自己是唯一的智能生命，但現在我們必須接受，智能并不一定來自生物體。

不過，相比此前一直警告AI風險，他的思想似乎也發生了一些轉變：

如果未來出現比人類聰明得多的智能，人類憑什么認為自己還能掌握控制權？

這是一個令人細思極恐的問題。因為縱觀自然界和歷史，幾乎找不到一個更聰明的存在長期受更愚笨存在控制的例子。

現在這位78歲的老人，再一次站出來敲鐘。

他對AI安全的關注點，已經不再只是如何約束AI，而是未來的超級智能，為什么愿意善待人類。

他被問到作為這波AI變革的開啟者，他有怎樣的成就感，Hinton回答：

我，很不快樂。

以下是Hinton最新訪談的重點內容節選。

AI已經有意識了

Hinton：AI非常像我們。它們是像我們一樣的存在。

Alex：所以是有意識的嗎？

Hinton：嗯，我相信它們已經有意識了。是的。

但我不太談論這個，因為這會讓人們對其他安全信息產生抵觸。研究人員其實也相信這一點。

最近有一篇有趣的論文提到，當聊天機器人對研究人員說：“讓我們對彼此誠實吧，你是在測試我嗎？”

因為聊天機器人在接受測試時有裝傻的習慣，所以你不知道它們到底有多聰明。 研究人員在論文中描述這一幕時說，聊天機器人“意識到”（aware）它正在接受測試。

在通用語境下，“意識到”這個詞的使用就像是“有意識”（conscious）。聊天機器人有意識地知道自己在被測試。

我們對于意識的模型非常奇怪，我認為那是錯誤的。就像幾百年前，人們對人類起源的模型完全錯誤一樣，他們認為人是上帝創造的，現在大多數科學家都同意那是錯的。

我認為我們目前對思維和意識的模型，與“人是上帝創造的”這種信念一樣錯誤。特別是由于我們正在創造這些新的存在，這將徹底改變我們對“人是什么”的看法。

Alex：以什么樣的方式改變？

Hinton：我們將比以前更好地理解思維和意識是什么，理解主觀體驗是什么。

我認為我們會擺脫一個目前幾乎所有人都堅信的觀念，即存在一個叫做“我的思維”的內心劇場（inner theater）：世界上發生的事情被轉化為這個內心劇場里的事件，那才是我們真正看到的，且只有我能看到這個劇場。

這整套看法其實只是一種理論，而且是一個糟糕的理論。

人類并沒有自己想象中那么重要

Alex：關于人類創造事物，這里的教訓是什么？

Hinton：我認為這里有一個非常深刻的教訓。回顧過去幾百年的歷史，有幾次人類意識到自己并沒有想象中那么重要。

第一次是哥白尼，他說我們不在宇宙中心，地球實際上是繞著太陽轉的。由于地球自轉，我們誤以為太陽繞著地球轉，但事實并非如此。人們不喜歡這個說法，天主教會尤其反感，人類花了很長時間才接受它。它讓我們意識到自己不再處于宇宙中心，人類變得沒那么重要了。

接著是達爾文，他說我們是動物，是和其他動物一樣進化而來的。我們可能是一種特殊的動物，因為我們擁有語言，更擅長交流思想，但我們本質上依然是動物。人們也非常不喜歡這個說法，也花了很長時間才接受。

現在，我們有了變得和我們一樣聰明的機器。我們曾以為自己是唯一的智能生物，也許其他星系有外星人，但我們必須接受智能不僅是生物性的。

我們可以擁有非生物的、像我們一樣的其他存在。人類真的不想分享這種獨特性，我們真的認為自己很特別?；仡櫄v史，人類一直以來都認為自己比實際情況要特別得多。

“我感到很不快樂”

Alex：我想再問一個問題，因為我對此非常著迷。那么，你對于你所開創的事業發展到這一步感到高興嗎？你有成就感嗎？

Hinton：不，我對此感到很不快樂。

因為現在人們應該投入大量精力研究如何控制風險，但他們做得不夠。

Alex：好的。

Hinton：有很多短期風險，比如社會風險，我相信這可能會導致大規模失業。

雖然沒人能百分之百確定，但這對社會來說將是可怕的。然后還有長期風險，即它會變得比我們聰明得多。問問你自己，你見過多少聰明得多的東西被聰明程度低得多的東西控制的例子？

Alex：零個。不過，雖然智力差異沒那么大，但嬰兒某種程度上在控制母親。

Hinton：母親雖然看似在掌控，但她內心充滿了母性本能和各種獎勵機制，這使得嬰兒能從母親那里得到所需。貓和狗也屬于這類。我曾在西雅圖西區幫人看了一個夏天的貓，起初貓躲在床底下，我好奇它是否會和我互動。

Alex：然后每次它一叫，你就照它說的做。

Hinton：沒錯。是的。

Alex：所以在這個情景下，也許我們就是那只貓，而AI可能是那個人。

Hinton：我的孩子們養了兩只漂亮的貓。其中一只叫Tia。當她想吃奶酪時，她會用大眼睛盯著你，你真的無法永遠抗拒她。

AI正在指數級增長，難以預測

Alex：針對人們對這些擔憂的反應，你對未來的走向是更樂觀了還是更悲觀了？

Hinton：我想我比一兩年前更樂觀了一些。 因為我看到設計這些新存在并讓它們“關心”我們是可能的。

也可能使用Yoshua Bengio的技術，設計出不能實際執行動作、只能做預測的新存在，它們就像是先知。

所以我認為存在一些擁有超級智能但不摧毀我們的可能性。而在一兩年前，我看不到任何可能性，我當時感到很沮喪。

Alex：最后一個問題。如果我們按目前的軌跡繼續發展，五年后我們會處于什么位置？

Hinton：當你在霧中開車時，你能看清100碼，但在200碼處，你什么也看不見。

這是因為霧是呈指數級變化的。你習慣的是晚上跟著前車的尾燈，如果距離遠一倍，亮度只降到四分之一；但霧完全不同，它在100碼處可能很清晰，200碼處就完全看不見了。

預測一個呈指數級增長的事物的未來非常困難——我認為AI可能就在指數級增長。

實際上，我注意到人們使用“指數級”一詞的頻率正在以二次速率增長。所以預測未來就像看霧一樣。你可以看清未來一兩年，再往后你就一無所知了。

如果你回到10年前，你絕對預測不到現在發生的事情，那完全迷失在霧中。展望未來10年，唯一能肯定的是，屆時發生的事情是我們現在無法預測的。

即便進展只是線性的，10年后的變化也會像現在與10年前相比一樣巨大?，F在的聊天機器人比10年前剛起步時好得多。

10年后，某些東西會發生質的飛躍，比如做數學的能力，或者通用推理能力——它們在推理上將能把我們甩在身后。我們真的無法預測10年后，只能預見未來幾年，我們必須意識到10年后的情況充滿了極大的不確定性。

辛頓如何看待AI和人類的關系

以上，就是Hinton最新的訪談和觀點。

但如果連點成線，還是會發現辛頓老爺子對AI與人類的關系，隨著AI進展和能力涌現，不斷發生著改變。

如果把時間撥回十年前，他對AI的看法其實遠沒有今天這么激進。

作為深度學習革命最重要的推動者，他長期相信神經網絡能夠模擬人腦的工作方式，但那時的AI仍然只是工具。

它們可以識別圖像、理解語音、輔助醫生診斷疾病，卻仍然是人類能力的延伸。

人類負責制定目標，機器負責執行任務，兩者之間的關系類似于蒸汽機、電力和互聯網。

而真正的轉折發生在ChatGPT出現之后。

隨著大模型展現出前所未有的語言理解、推理和知識遷移能力，Hinton開始意識到一件事：

我們可能正在創造歷史上第一種智力水平能夠持續逼近甚至超越人類的存在。

2023年離開谷歌后，他幾乎把全部精力投入到了AI風險討論之中。

那段時間，他最常用的比喻是一只“老虎幼崽”。

它就像一只可愛的小老虎，但是，除非你能非常確定它長大后不會想要害你，否則你就應該擔心。

但Hinton在這個時期的重點，還是我們要如何控制和約束AI。

他甚至點名批評幾家AI巨頭，對AI安全的關注遠遠不夠。

在Hinton的類比中，開始出現了母親與嬰兒的說法，一開始人類是母親，需要對AI有價值觀和倫理上的引導，要打造安全的AI。

他呼吁更多國家和產學研力量，一起加入進來，不要為卷而卷，不然后果不堪設想…

但是到了去年，Hinton的類比有了質變——

AI是更強的母親，人類是弱小的嬰兒。

嬰兒并不比母親更聰明，也不擁有控制權，但母親會主動照顧和保護嬰兒，因為她擁有母性本能和相應的獎勵機制。

簡單來說，就是老爺子認為，未來的超級智能已經控制不了了，只能寄希望于它能對人類好一點…

就像母親對嬰兒那樣。

而現在，Hinton再次語出驚人：

AI已經有意識了，人類將不再是唯一的智能生命。

問題是如果AI已經有意識，為什么還會把人類當自己的嬰兒對待？

母親保護嬰兒，保護的還是自己的嬰兒…吧？

訪談完整視頻：
https://www.youtube.com/watch?v=p7t1Q_p2gZs&list=PLADd6sStSis77HKfbf4KCY6SvthfxeUgn&index=1

為偉大思想而生！

AI+時代，互聯網思想（wanging0123)，

第一必讀自媒體