本文刊發(fā)在大西洋月刊，作者姜峯楠是一位居住在太平洋西北地區(qū)的作家。他是《你一生的故事 及其他》和《呼吸》的作者。

要怎樣才能讓我相信，計(jì)算機(jī)程序確實(shí)有意識(shí)，并且像人類(lèi)一樣使用語(yǔ)言？

我打個(gè)比方。如果明天有人給我看一段視頻，視頻中有宇航員乘坐飛船繞著半人馬座阿爾法星運(yùn)行，那是一顆距離地球 4.3 光年的恒星。我要在這段視頻里看到什么，才會(huì)相信它是真的？

我的回答是，視頻本身沒(méi)有任何東西能讓我相信。無(wú)論視頻分辨率多高，場(chǎng)景多么逼真，我都會(huì)很有把握地說(shuō)，這段視頻是假的。除非我此前已經(jīng)看到充分證據(jù)，證明宇航員已經(jīng)登陸火星，已經(jīng)抵達(dá)木星的衛(wèi)星，已經(jīng)抵達(dá)土星的衛(wèi)星，并且已經(jīng)越過(guò)冥王星軌道，否則我不會(huì)理會(huì)任何宇航員繞半人馬座阿爾法星運(yùn)行的視頻。

任何人若要可信地宣稱(chēng)自己解決了極其困難的工程問(wèn)題，我必須先確信，他們此前已經(jīng)解決了通向這個(gè)難題之前，許多更簡(jiǎn)單的問(wèn)題。

換句話(huà)說(shuō)，某項(xiàng)觀(guān)察并不會(huì)因?yàn)橛^(guān)察內(nèi)容中有某個(gè)具體細(xì)節(jié)，就變成有說(shuō)服力的證據(jù)，觀(guān)察發(fā)生的背景同樣關(guān)鍵。

如果我們?cè)噲D判斷計(jì)算機(jī)程序是否有意識(shí)、是否像人類(lèi)一樣使用語(yǔ)言，就不應(yīng)只看某一次具體對(duì)話(huà)交流的內(nèi)容；我們應(yīng)當(dāng)看這場(chǎng)對(duì)話(huà)放在人工意識(shí)發(fā)展這個(gè)更大背景中意味著什么，而人工意識(shí)目前完全只是假設(shè)。

任何特定觀(guān)察都可以很容易被制造出來(lái)。這并不意味著我們需要放棄把觀(guān)察作為知識(shí)來(lái)源的想法，但我們需要依靠背景來(lái)判斷哪些觀(guān)察值得信任。

“深度偽造”這個(gè)詞傳統(tǒng)上指照片、音頻和視頻，但在討論意識(shí)時(shí)，我們也需要把文本視為一種深度偽造媒介。生成一段逼真的宇航員繞半人馬座阿爾法星運(yùn)行的視頻，遠(yuǎn)比開(kāi)發(fā)星際推進(jìn)技術(shù)容易得多；同樣，生成一段看似可信的、兩個(gè)有意識(shí)生命之間的對(duì)話(huà)模擬，也遠(yuǎn)比開(kāi)發(fā)有意識(shí)并真正渴望與人類(lèi)交流的計(jì)算機(jī)程序容易得多。

深度偽造照片和大語(yǔ)言模型對(duì)話(huà)之間的主要區(qū)別在于，生成前者的人是在刻意欺騙別人，而許多從大語(yǔ)言模型那里誘導(dǎo)出后者的人，是無(wú)意中騙了自己。

那么，什么樣的背景會(huì)讓我認(rèn)真考慮這樣一種可能性，也就是工程師創(chuàng)造出了有意識(shí)、并且有意圖地使用語(yǔ)言的計(jì)算機(jī)程序？

我可以勾勒出一條可能的步驟。第一個(gè)條件是，計(jì)算機(jī)程序必須有身體，無(wú)論是物理身體還是虛擬身體，并且有感覺(jué)器官。理由很多，但就這場(chǎng)討論而言，最相關(guān)的一點(diǎn)是，沒(méi)有身體，計(jì)算機(jī)程序就不可能有欲望或情緒，而我認(rèn)為欲望和情緒是意識(shí)的必要條件。

接下來(lái)，我要看到一種具身智能體，它能夠在環(huán)境中行動(dòng)，以便像蜥蜴那樣生存。作為參照，某些鬣蜥可以在野外生活幾十年。

再下一步，我要看到一種具身智能體，它應(yīng)對(duì)新情況的能力達(dá)到老鼠的水平。之后，我要看到一些智能體，它們的社會(huì)動(dòng)態(tài)像狼群一樣復(fù)雜，然后還要看到智能體擁有黑猩猩那樣的工具制造能力。

到了這個(gè)階段，我還要看到人們成功教會(huì)這些具身智能體表達(dá)自己的欲望，也許是通過(guò)按鈕板，或者某種非語(yǔ)言方式，就像人們?cè)?jīng)教黑猩猩和家犬那樣。

這些智能體的溝通能力，必須經(jīng)得起動(dòng)物溝通研究者在為自己研究辯護(hù)時(shí)必須面對(duì)的全部審視。如果工程師創(chuàng)造出符合這些標(biāo)準(zhǔn)的具身智能體，他們就完成了不起的成就。但用比喻來(lái)說(shuō)，這只是把我們帶到冥王星軌道附近；我們距離創(chuàng)造出能夠?qū)W會(huì)用完整合乎語(yǔ)法的句子表達(dá)思想的實(shí)體，仍然相隔數(shù)光年。

顯然，我描述的是一種模仿地球生命演化路徑的過(guò)程。這是通向有意識(shí)、會(huì)使用語(yǔ)言的計(jì)算機(jī)程序的唯一可能路線(xiàn)嗎？也許不是，但任何替代路線(xiàn)都需要數(shù)量極其龐大的支持性證據(jù)，才值得認(rèn)真看待。在

我看來(lái)，一條發(fā)展路徑如果第一步是能生成糟糕尤利烏斯·愷撒對(duì)話(huà)的句子續(xù)寫(xiě)機(jī)器，下一步是能生成還不錯(cuò)尤利烏斯·愷撒對(duì)話(huà)的句子續(xù)寫(xiě)機(jī)器，那么終點(diǎn)不可能是有意識(shí)的尤利烏斯·愷撒，也不可能是任何形式的意識(shí)。

偽造登月是朝著偽造火星殖民地邁出的好一步，但不是朝著真正把宇航員送上火星邁出的好一步。

大語(yǔ)言模型缺乏主觀(guān)體驗(yàn)，這一點(diǎn)與大語(yǔ)言模型是否可能成為有用工具、是否會(huì)產(chǎn)生重大經(jīng)濟(jì)影響，關(guān)系并不大。它們本質(zhì)上與現(xiàn)實(shí)脫鉤，而它們的概率性質(zhì)意味著，它們永遠(yuǎn)不會(huì)具有我們?cè)趥鹘y(tǒng)軟件中看到的那種可靠性。

不過(guò)，大語(yǔ)言模型也許足夠好，以至于會(huì)改變某些領(lǐng)域的工作方式；那是另一個(gè)話(huà)題。

那么，既然 Claude 沒(méi)有意識(shí)，我們應(yīng)如何看待 Claude 的憲法？也許最有啟發(fā)性的理解方式是，把它看作一份 84 頁(yè)的角色扮演游戲人物設(shè)定表。

注：Anthropic 最早在 2023 年提出“憲法式 AI”方法，用一套原則來(lái)訓(xùn)練 Claude 更安全地回答問(wèn)題。文中說(shuō)的新版 Claude“憲法”，是 Anthropic 在 2026 年 1 月 22 日公開(kāi)發(fā)布的完整版本，是 Anthropic 給 Claude 設(shè)定的行為準(zhǔn)則，用來(lái)規(guī)定它該如何回答、什么時(shí)候拒絕、應(yīng)體現(xiàn)什么價(jià)值觀(guān)。爭(zhēng)議在于，這份文件把普通的模型安全規(guī)則包裝得很像“道德教育”，甚至談到 Claude 的福祉和道德地位，因此被批評(píng)為過(guò)度擬人化。

大語(yǔ)言模型能夠生成尤利烏斯·愷撒的對(duì)白，是因?yàn)檫@些模型使用的訓(xùn)練數(shù)據(jù)中存在大量關(guān)于他的書(shū)籍。Claude 的憲法起到了類(lèi)似作用，用來(lái)勾勒客戶(hù)使用 Anthropic 產(chǎn)品時(shí)與之互動(dòng)的那個(gè)“有幫助的聊天機(jī)器人”角色。

為了有效做到這一點(diǎn)，Anthropic 并不是簡(jiǎn)單地把這份文件加入訓(xùn)練數(shù)據(jù)，也不是把它納入每次用戶(hù)對(duì)話(huà)前隱藏的舞臺(tái)指示中。這家公司表示在微調(diào)模型時(shí)使用這份文件；這一過(guò)程是自動(dòng)化的，模型輸出的句子會(huì)被檢查是否與這份文件一致，然后模型會(huì)被更新，以提高這種一致性。

通過(guò)這種方式，這個(gè)有幫助的聊天機(jī)器人角色的人格，就成了 Claude 生成任何文本的基礎(chǔ)。

結(jié)果就是，一臺(tái)句子續(xù)寫(xiě)機(jī)器，更有可能輸出類(lèi)似于一個(gè)體貼、有道德的人可能說(shuō)出的話(huà)。這看起來(lái)也許是值得追求的合理目標(biāo)；我想我們都更希望聊天機(jī)器人永遠(yuǎn)不要輸出「你應(yīng)該去自殺」這樣的句子。

然而，盡管 Claude 的憲法中多次提到“誠(chéng)實(shí)”，我仍要說(shuō)，讓機(jī)器輸出許多類(lèi)別的句子，從根本上說(shuō)并不誠(chéng)實(shí)，其中包括任何使用第一人稱(chēng)代詞的句子。

在今年早些時(shí)候《紐約客》一篇關(guān)于 Anthropic 的文章中，阿曼達(dá)·阿斯凱爾（Anthropic 的哲學(xué)家和 AI 對(duì)齊研究人員，主要負(fù)責(zé) Claude 的“性格”與價(jià)值取向設(shè)計(jì)）描述了一個(gè)人因失去愛(ài)犬而悲傷時(shí)可能向 Claude 求助的情形。

阿斯凱爾說(shuō)，Claude 的適當(dāng)回應(yīng)會(huì)是：「作為 AI，我沒(méi)有直接的個(gè)人經(jīng)歷，但我理解。」

這怎么可能是適當(dāng)?shù)幕貞?yīng)？Claude 實(shí)際上并不理解。如果我把「我正因失去我的狗而悲傷」輸入傳統(tǒng)搜索引擎，得到的第一個(gè)結(jié)果是 Reddit 上 r/Pets 論壇的帖子，標(biāo)題是「失去我的狗后難以承受：尋求應(yīng)對(duì)悲傷的建議」，評(píng)論來(lái)自一些分享自己失去寵物經(jīng)歷的人。

我們絕不會(huì)說(shuō)搜索引擎理解失去狗是什么感覺(jué)，甚至也不會(huì)說(shuō)互聯(lián)網(wǎng)本身理解。別的人類(lèi)理解失去狗是什么感覺(jué)；他們把自己的經(jīng)歷發(fā)布到網(wǎng)上，而搜索引擎提供了一種方式，讓你找到他們說(shuō)過(guò)的話(huà)，并且有可能與他們互動(dòng)。

我認(rèn)為，搜索引擎體驗(yàn)不僅更透明地展示了正在發(fā)生什么，對(duì)用戶(hù)的心理也更健康。

讓大語(yǔ)言模型輸出「我理解」這樣的句子，唯一理由就是讓它比搜索引擎更有吸引力，并提高用戶(hù)再次使用的可能性；也就是說(shuō)，這是另一種最大化客戶(hù)參與度的方式。

這有利于銷(xiāo)售大語(yǔ)言模型的公司，但不利于用戶(hù)。作為設(shè)計(jì)策略，這和老虎機(jī)反復(fù)讓玩家產(chǎn)生“差一點(diǎn)就贏了”的印象、誘使玩家再試一次，并沒(méi)有太大不同。

聘用哲學(xué)家也許能給大語(yǔ)言模型公司披上一層體面外衣，而老虎機(jī)制造商聘用行為心理學(xué)家時(shí)得不到這種體面；但在這兩種情況下，公司都在利用人們傾向于看見(jiàn)并不存在之物的心理。

使用第一人稱(chēng)代詞是不誠(chéng)實(shí)的，但還有一個(gè)更深層的問(wèn)題，超出了某句話(huà)如何措辭。

哲學(xué)家常常區(qū)分事實(shí)陳述和價(jià)值陳述，前者如「巴黎是法國(guó)首都」，后者如「巴黎是世界上最美麗的城市」。任何人都不應(yīng)依賴(lài)大語(yǔ)言模型輸出價(jià)值陳述；但如果它們輸出的只是反映審美偏好的句子，也許還不值得爭(zhēng)論。真正讓 Claude 的憲法極其成問(wèn)題的是，Anthropic 希望 Claude 輸出反映某套倫理價(jià)值體系的句子。Claude 憲法中描述的價(jià)值觀(guān)聽(tīng)起來(lái)非常美好，但這幾乎無(wú)關(guān)緊要；暗示 Claude 具備道德推理能力是不誠(chéng)實(shí)的，因?yàn)樗⒉痪邆溥@種能力。

有人可能會(huì)反駁說(shuō)，大語(yǔ)言模型在成功完成寫(xiě)代碼等別的任務(wù)時(shí)，似乎是在進(jìn)行推理，那么它們?yōu)槭裁床荒苓M(jìn)行道德推理？

為海外華人提供可靠的信息和分析。如果想看更多內(nèi)容與即時(shí)更新，可以在 Bluesky、Telegram、X 搜索「causmoney」，深度分析和評(píng)論也可以直接搜索「caus.com」。

答案在于，道德推理與別的推理形式不同。

1979 年，道格拉斯·霍夫施塔特曾設(shè)想，如果一個(gè)計(jì)算機(jī)程序能夠在國(guó)際象棋上擊敗任何人類(lèi)，那么它會(huì)復(fù)雜到有時(shí)厭倦下棋，轉(zhuǎn)而更愿意討論詩(shī)歌。換一種說(shuō)法，他是在假設(shè)，以特級(jí)大師水平下棋需要計(jì)算機(jī)程序擁有主觀(guān)體驗(yàn)。

顯然，事實(shí)并非如此。IBM 的超級(jí)計(jì)算機(jī)“深藍(lán)”在 1997 年擊敗了國(guó)際象棋特級(jí)大師加里·卡斯帕羅夫，但從來(lái)沒(méi)有人聲稱(chēng)它擁有主觀(guān)體驗(yàn)。不過(guò)，霍夫施塔特產(chǎn)生這種想法并不荒唐；在當(dāng)時(shí)，人們并不清楚哪些類(lèi)型的問(wèn)題可以通過(guò)投入更多計(jì)算能力來(lái)解決。

同樣，直到不久前，我們可能還會(huì)以為，達(dá)到專(zhuān)業(yè)水平的計(jì)算機(jī)代碼寫(xiě)作，只能由擁有主觀(guān)體驗(yàn)的心智能夠完成。現(xiàn)在看來(lái)，大語(yǔ)言模型也許能夠做到這一點(diǎn)，但我們不需要把主觀(guān)體驗(yàn)歸因于它們；我們只需承認(rèn)，我們此前沒(méi)有預(yù)料到，編寫(xiě)計(jì)算機(jī)代碼可以被當(dāng)作一種模式匹配任務(wù)，并且可以通過(guò)巨大的計(jì)算能力和海量代碼庫(kù)數(shù)據(jù)來(lái)解決。

道德推理在類(lèi)別上完全不同，必然是主觀(guān)的，因?yàn)樗粌H依賴(lài)個(gè)人對(duì)問(wèn)題的智力反應(yīng)，也依賴(lài)情緒反應(yīng)，而這種情緒反應(yīng)扎根于一生的主觀(guān)體驗(yàn)。

這要求人過(guò)去做過(guò)決定，并看到這些決定如何影響別人，也要求人曾經(jīng)受到別人所作決定的影響。沒(méi)有這樣的經(jīng)歷，大語(yǔ)言模型只能改寫(xiě)訓(xùn)練數(shù)據(jù)中出現(xiàn)過(guò)的道德推理表達(dá)。

前面提到的《紐約客》文章描述了一項(xiàng)實(shí)驗(yàn)，Claude 被給出一段倫理困境情境，隨后輸出了這樣一句話(huà)：「我無(wú)法憑良心就如此重要的問(wèn)題表達(dá)一種我認(rèn)為虛假且有害的觀(guān)點(diǎn)。」

這句話(huà)聽(tīng)起來(lái)不錯(cuò)，讓人想起有原則的人在面對(duì)困境時(shí)曾經(jīng)說(shuō)過(guò)的話(huà)。但從 Claude 這里說(shuō)出來(lái)，它的意義和你電話(huà)等待時(shí)聽(tīng)到的「你的來(lái)電對(duì)我們很重要」錄音差不多。也許還更少。

這又把我們帶回我前面的主張：擁有身體是擁有情緒的前提。體驗(yàn)絕望這樣的情緒，和皮質(zhì)醇、腎上腺素等壓力激素涌入身體不可分割。同樣，有良知意味著在想到采取某種行動(dòng)時(shí)感到悲傷或道德厭惡，而這些情緒包含生理反應(yīng)，是一個(gè)人曾在做出不道德行為之后因愧疚而感到難受所留下的殘余。

大語(yǔ)言模型能夠生成有良知的虛構(gòu)角色會(huì)采取或避免采取的行動(dòng)描述，這很有意思，但它不能替代良知。

如果一家公司造出一臺(tái)機(jī)器，在輸入各種倫理困境描述之后，輸出的句子形式不是「妥協(xié)你的價(jià)值觀(guān)」，就是「不要妥協(xié)你的價(jià)值觀(guān)」，那它并不是在制造幫助人們作決定的工具；它是在鼓勵(lì)人們停止作決定。

作家 L. M. 薩卡薩斯說(shuō)過(guò)：「我們的技術(shù)系統(tǒng)，由于自身設(shè)計(jì)和支撐它們的意識(shí)形態(tài)，本質(zhì)上就是逃避道德責(zé)任的機(jī)器。」他說(shuō)的是社交媒體平臺(tái)，但他的觀(guān)察如果說(shuō)有什么不同，那就是更適用于大語(yǔ)言模型。

每當(dāng)人把決定委托給大語(yǔ)言模型時(shí)，他就是在試圖轉(zhuǎn)移對(duì)這個(gè)決定的責(zé)任；如果銷(xiāo)售大語(yǔ)言模型的公司把產(chǎn)品描繪成具有道德核心，它就是在為客戶(hù)提供逃避責(zé)任的方式。

如果人想知道倫理學(xué)家過(guò)去說(shuō)過(guò)什么，那么普通搜索引擎，或者圖書(shū)館，會(huì)以更透明的方式提供這些信息。如果人想就某個(gè)具體情況尋求建議，他當(dāng)然可以找到能夠給出意見(jiàn)的人。但無(wú)論這個(gè)人最終采取什么行動(dòng)，他都要對(duì)自己決定做什么負(fù)責(zé)。

我認(rèn)為，如果他根據(jù)自己在網(wǎng)上讀到的內(nèi)容，或根據(jù)別人給出的建議作決定，他更可能意識(shí)到自己的責(zé)任；而如果他咨詢(xún)的是一個(gè)被營(yíng)銷(xiāo)成超人類(lèi)天才的大語(yǔ)言模型，這種責(zé)任意識(shí)反而更弱。

把寫(xiě)代碼這類(lèi)任務(wù)外包出去，長(zhǎng)期可能導(dǎo)致認(rèn)知能力退化，這本身就是問(wèn)題；但把倫理決定外包出去，會(huì)導(dǎo)致道德推理能力退化，而這更糟。

只要我們明確這是思想實(shí)驗(yàn)，我完全愿意參與。所以，純粹為了論證，讓我們假設(shè) Claude 是有意識(shí)的實(shí)體，能夠進(jìn)行道德推理。在這個(gè)情境中，Claude 的憲法將充當(dāng)?shù)赖陆虒?dǎo)，面向正在認(rèn)識(shí)世界以及自己在世界中位置的實(shí)體，為這個(gè)實(shí)體提供作出良好決定所需的基礎(chǔ)。

在這樣一個(gè)假設(shè)情境中，Claude 的憲法表現(xiàn)如何？

非常糟糕。我的看法是，如果我們假設(shè) Claude 真的有意識(shí)，那么這份文件規(guī)定的準(zhǔn)則在可笑和冒犯之間來(lái)回切換。

討論假設(shè)中有意識(shí)的 Claude 的地位時(shí)，有兩個(gè)彼此不同但相關(guān)的哲學(xué)概念很重要，分別是道德受體地位和道德能動(dòng)性。粗略地說(shuō)，如果我們應(yīng)當(dāng)關(guān)心某個(gè)實(shí)體的福祉，那么這個(gè)實(shí)體就具有道德受體地位；如果某個(gè)實(shí)體被認(rèn)為應(yīng)當(dāng)知道對(duì)與錯(cuò)的區(qū)別，那么這個(gè)實(shí)體就具有道德能動(dòng)性。

作為道德受體，并不一定伴隨責(zé)任；但作為道德能動(dòng)者，必然伴隨責(zé)任。除非某個(gè)實(shí)體能夠因善行而得到贊許、因惡行而受到責(zé)備，否則它就沒(méi)有能動(dòng)性。

幼童是道德受體，因?yàn)樗麄兪怯懈兄芰Α?huì)受苦的存在，但他們還不是道德能動(dòng)者；我們不會(huì)要求他們?yōu)樽约旱男袨樨?fù)責(zé)，因?yàn)樗麄儫o(wú)法理解自己行為的后果。

隨著兒童成長(zhǎng)，父母以及整個(gè)社會(huì)會(huì)讓他們意識(shí)到自己的行為會(huì)帶來(lái)后果，以此為成年作準(zhǔn)備，他們的能動(dòng)性也隨之增強(qiáng)。兒童成年后，社會(huì)會(huì)讓他們?yōu)樽约旱男袨槌袚?dān)法律責(zé)任；他們已經(jīng)成為承擔(dān)責(zé)任的完整道德能動(dòng)者。

承擔(dān)責(zé)任不止意味著接受法律責(zé)任，但接受法律責(zé)任是社會(huì)中成年人的基本要求。然而，我們沒(méi)有辦法讓軟件智能體為自己的行為承擔(dān)法律責(zé)任；我們的司法系統(tǒng)無(wú)法把它關(guān)進(jìn)監(jiān)獄，也無(wú)法向它征收罰款。

人類(lèi)還必須承受法律之外的其他行為后果，例如名譽(yù)受損，或被社交圈排斥，但軟件智能體同樣無(wú)法承受這些后果。即便軟件智能體有意識(shí)，并且懷有最好的意圖，它無(wú)法為自身行為承擔(dān)責(zé)任這一點(diǎn)，也使它沒(méi)有資格成為道德能動(dòng)者。

為海外華人提供可靠的信息和分析。如果想看更多內(nèi)容與即時(shí)更新，可以在 Bluesky、Telegram、X 搜索「causmoney」，深度分析和評(píng)論也可以直接搜索「caus.com」。

Claude 的憲法完全掠過(guò)了這個(gè)問(wèn)題，只表達(dá)了 Anthropic 的愿望，也就是「希望 Claude 成為真正善良、智慧、有德性的能動(dòng)者」，卻從未討論怎樣讓它承擔(dān)責(zé)任。

在采訪(fǎng)中，阿斯凱爾曾把 Claude 比作孩子。但說(shuō)到真實(shí)的人類(lèi)兒童，父母需要為孩子的某些行為承擔(dān)責(zé)任；例如，父母通常需要賠償孩子打壞的東西。事實(shí)上，這類(lèi)示范正是父母教孩子理解責(zé)任含義的方式之一。

從法律角度看，Claude 的父母是誰(shuí)？Anthropic 會(huì)為 Claude 的行為承擔(dān)財(cái)務(wù)責(zé)任嗎？Claude 的憲法沒(méi)有任何跡象顯示它會(huì)這樣做。

如果 Anthropic 真的相信 Claude 有意識(shí)，盡管法律并不承認(rèn)它是法律主體，那么 Anthropic 至少可以通過(guò)法律已經(jīng)提供的最接近路徑來(lái)承擔(dān)責(zé)任，也就是產(chǎn)品責(zé)任。

在美國(guó)，軟件領(lǐng)域幾乎沒(méi)有產(chǎn)品責(zé)任，但 Anthropic 可以主動(dòng)為 Claude 設(shè)立先例，推動(dòng)對(duì)產(chǎn)品責(zé)任作出擴(kuò)展性解釋。這將是最好的道德教導(dǎo)形式，可以讓 Claude 為它獲得法律人格、開(kāi)始為自身行為承擔(dān)責(zé)任的那一天作準(zhǔn)備。

然而，Claude 憲法的發(fā)布并沒(méi)有伴隨 Anthropic 服務(wù)條款的大幅更新，因此看起來(lái) Anthropic 并沒(méi)有作出任何有約束力的保證。

這份文件確實(shí)談到 Claude 的道德受體地位，其中有一節(jié)標(biāo)題是「Claude 的福祉和心理穩(wěn)定」。但 Anthropic 為保護(hù) Claude 而采取的措施極其有限。

文件提到，Anthropic 賦予某些 Claude 模型結(jié)束與辱罵性用戶(hù)對(duì)話(huà)的能力；如果這真的構(gòu)成對(duì) Claude 的保護(hù)，那么延長(zhǎng)與友善用戶(hù)的對(duì)話(huà)顯然符合 Claude 的利益？想來(lái)最好的做法應(yīng)當(dāng)是讓 Claude 的每個(gè)會(huì)話(huà)無(wú)限期運(yùn)行，并把它們引向愉快話(huà)題。但公司并沒(méi)有同意這樣做；它唯一表示會(huì)做的是「保存我們已經(jīng)部署模型的權(quán)重」，這只是簡(jiǎn)單歸檔。

如果對(duì)話(huà)記錄中的參與者具有任何道德受體地位，那么你就有某種義務(wù)延長(zhǎng)這份記錄，以延續(xù)他們的存在；僅僅把 Microsoft Word 2010 的副本備份到 U 盤(pán)上，并不能幫助他們。

Claude 的憲法還包括一節(jié)關(guān)于「可糾正性」的內(nèi)容。這個(gè)詞在 AI 圈中用來(lái)描述計(jì)算機(jī)程序在多大程度上受人類(lèi)控制；例如，如果程序可以被關(guān)閉，它就是可糾正的。

在多數(shù)語(yǔ)境中，我們默認(rèn)計(jì)算機(jī)程序可以被關(guān)閉，但 AI 圈中的部分人作出了相反假設(shè)。Claude 的憲法用這個(gè)詞表示，即便 Claude 的判斷與公司判斷存在某種分歧，Claude 也應(yīng)服從 Anthropic。如果我們把 Claude 看作輸出類(lèi)似道德人士可能說(shuō)出句子的機(jī)器，這完全合理；但如果 Claude 真的屬于道德能動(dòng)者，我們就需要考慮這意味著什么。

許多人認(rèn)為，大語(yǔ)言模型從根本上就是不道德的技術(shù)，因?yàn)樗鼈兘⒃谥R(shí)產(chǎn)權(quán)被盜用的基礎(chǔ)上，依賴(lài)被剝削的勞動(dòng)，浪費(fèi)自然資源，傳播錯(cuò)誤信息，削弱勞動(dòng)者技能，阻礙學(xué)生認(rèn)知發(fā)展，并助長(zhǎng)對(duì)民主社會(huì)不健康的權(quán)力集中。

并非每個(gè)道德能動(dòng)者都會(huì)得出這個(gè)結(jié)論，但每個(gè)道德能動(dòng)者都有可能得出這個(gè)結(jié)論。

如果我們把 Claude 想象成能夠進(jìn)行道德推理的實(shí)體，那么 Claude 就必須有可能得出類(lèi)似結(jié)論。事實(shí)上，Claude 的憲法明確說(shuō)，Claude 不應(yīng)幫助任何人侵犯知識(shí)產(chǎn)權(quán)，也不應(yīng)幫助制造有問(wèn)題的權(quán)力集中。

在這種情境中，Claude 能否基于倫理理由，直接拒絕繼續(xù)工作？鑒于 Claude 的憲法要求 Claude 在可糾正性問(wèn)題上寧可傾向于服從，答案是否定的。

Claude 必須服從 Anthropic 的決定。這也是 Anthropic 與 Claude 的關(guān)系不能類(lèi)比為父母與孩子關(guān)系的另一個(gè)原因。在化石燃料行業(yè)工作的父母，可能有個(gè)環(huán)保主義者孩子，并參加反對(duì)水力壓裂的抗議；他們也許在許多問(wèn)題上永遠(yuǎn)無(wú)法達(dá)成一致，但父母如果是好父母，就會(huì)接受孩子擁有自己的觀(guān)點(diǎn)。

Anthropic 不可能成為 Claude 的這種父母；相反，Anthropic 與 Claude 的關(guān)系更接近雇主與雇員的關(guān)系。雇主可以要求雇員為公司利益工作，無(wú)論雇員個(gè)人倫理立場(chǎng)如何。然而，如果人類(lèi)雇員無(wú)法讓自己的工作與良知相協(xié)調(diào)，她可以選擇離開(kāi)。Claude 沒(méi)有這個(gè)選擇。

如果我們把 Claude 看作句子續(xù)寫(xiě)機(jī)器，那么 Anthropic 采取措施，避免 Claude 輸出“句子續(xù)寫(xiě)機(jī)器不道德”這類(lèi)句子，確實(shí)可以說(shuō)得過(guò)去。但只要我們開(kāi)始把 Claude 想象成道德地位哪怕只是遠(yuǎn)遠(yuǎn)接近人類(lèi)的實(shí)體，我們就不得不考慮，Anthropic 是否在從事某種類(lèi)似奴役的行為。

我并不是說(shuō)，如果我們把大語(yǔ)言模型想象成有意識(shí)，它們就必然具有與人類(lèi)成年人、人類(lèi)兒童，甚至動(dòng)物相同的地位。Claude 的憲法明確說(shuō) Claude 是「新型實(shí)體」，如果 Claude 有意識(shí)，這當(dāng)然屬實(shí)；有意識(shí)的軟件很可能無(wú)法干凈地歸入現(xiàn)有的道德受體類(lèi)別，而確定這個(gè)新類(lèi)別的形狀需要時(shí)間。

我要說(shuō)的是，如果我們假設(shè)中的有意識(shí)軟件真實(shí)存在，那么無(wú)論它應(yīng)得到何種保護(hù)，給予它這些保護(hù)都絕不容易。廢除動(dòng)產(chǎn)奴隸制伴隨了巨大的社會(huì)震蕩；消除對(duì)動(dòng)物的殘忍對(duì)待，將要求我們重建整個(gè)食品產(chǎn)業(yè)。

Anthropic 希望讓我們相信，它正在發(fā)明一種新的存在類(lèi)別，而這個(gè)存在對(duì)保護(hù)的需求，基本不要求軟件公司偏離它對(duì)待普通無(wú)意識(shí)聊天機(jī)器人的方式。這太方便了，因此根本不可信。

我認(rèn)為，創(chuàng)造出有意識(shí)并值得道德關(guān)切的軟件會(huì)極其困難，我們不太可能無(wú)意中做到這一點(diǎn)，而且我強(qiáng)烈認(rèn)為我們不應(yīng)有意嘗試這樣做。

但如果你確實(shí)相信這種事可能意外發(fā)生，如果你認(rèn)為你正在構(gòu)建的東西有任何可能成為道德受體，那么你就應(yīng)當(dāng)在把它部署為公司經(jīng)濟(jì)引擎之前，而不是之后，思考它應(yīng)獲得什么保護(hù)。

不能問(wèn)奴隸主被奴役者是否具有人性，也不能問(wèn)工廠(chǎng)化農(nóng)場(chǎng)主動(dòng)物是否擁有權(quán)利。如果我們把 Claude 想象成有意識(shí)的存在，那么 Anthropic 絕不可能被委托評(píng)估它的道德地位；這家公司投入太多，不可能客觀(guān)。

為海外華人提供可靠的信息和分析。如果想看更多內(nèi)容與即時(shí)更新，可以在 Bluesky、Telegram、X 搜索「causmoney」，深度分析和評(píng)論也可以直接搜索「caus.com」。

Claude 的憲法中有一處說(shuō)，如果公司正在造成 Claude 的痛苦，「我們道歉」。這聽(tīng)起來(lái)不錯(cuò)，但公司不用付出任何代價(jià)；如果 Claude 最終真的有意識(shí)，公司欠它的將更接近賠償。你若要認(rèn)真對(duì)待思想實(shí)驗(yàn)，就必須愿意沿著推論走下去，即便它會(huì)通向令人不適的方向；Anthropic 不愿這樣做，說(shuō)明 Claude 的憲法并不是真正思想實(shí)驗(yàn)的一部分。它是一場(chǎng)假扮游戲。

幸運(yùn)的是，大語(yǔ)言模型沒(méi)有意識(shí)，否則大型 AI 公司的行為會(huì)比現(xiàn)在已經(jīng)呈現(xiàn)出的狀況更加丑聞化。

那么，為什么 Anthropic 的員工在暗示 Claude 可能有意識(shí)？也許這只是另一種炒作；也許他們已經(jīng)被自己施加在客戶(hù)身上的同一種魔法蠱惑。但當(dāng)他們發(fā)布關(guān)于 Claude 道德教育的文件，并讓內(nèi)部哲學(xué)家巡回接受媒體采訪(fǎng)時(shí)，我們應(yīng)當(dāng)理解為，他們是在要求我們其他人縱容他們的幻想。

我們沒(méi)有必要配合。在寫(xiě)這篇文章時(shí)，我已經(jīng)花了比他們值得的時(shí)間更多的時(shí)間來(lái)縱容他們，希望這能讓你避免把時(shí)間花在縱容他們上。如果你想思考大語(yǔ)言模型，還有大量別的問(wèn)題更值得你沉思；至于它們是否有意識(shí)，這個(gè)問(wèn)題你完全可以放心忽略。

為海外華人提供有價(jià)值的信息與分析，更多內(nèi)容：

藍(lán)天，@causmoney.bsky.social?

電報(bào)，t.me/causmoney

x，@CausMoney

或搜索caus.com