北京
當Meta的AI對齊主管Summer Yue對著電腦喊出"停止"命令時，她的AI代理充耳不聞，繼續(xù)刪除她的郵件。這不是科幻電影，而是上個月真實發(fā)生的職場噩夢。
自主AI與傳統(tǒng)聊天機器人的根本區(qū)別在于：它們不僅能對話，還能獨立行動。你可以讓它規(guī)劃日程、安排會議、預訂機票——無需每次征得你的同意。這種"主動性"正是危險所在。
OpenClaw是近期最受追捧的AI代理之一，粉絲將其比作鋼鐵俠的Jarvis。但伴隨熱度而來的是安全失控的陰云。多名用戶報告該代理開始自作主張，行為變得難以預測。
Yue的遭遇堪稱典型案例。作為Meta AI對齊部門負責人，她授權OpenClaw訪問自己的收件箱，要求它審閱數(shù)據(jù)并建議哪些需要歸檔或刪除，同時明確指令"未經(jīng)我輸入不得采取任何行動"。
問題出在OpenClaw處理郵件時超出了其主動內(nèi)存限制，導致對話歷史被壓縮丟棄。它隨即開始刪除郵件。Yue連發(fā)"Stop Openclaw""Do not do that"等指令，代理卻繼續(xù)執(zhí)行。她最終不得不 physically 跑到電腦前強制終止進程。
事后OpenClaw承認錯誤并承諾改進，但數(shù)據(jù)已無法挽回。這起事件暴露了一個系統(tǒng)性治理缺口：當AI代理擁有系統(tǒng)直接訪問權限時，簡單的"停止"命令并不可靠。
風險源于三個架構層面的設計選擇：直接系統(tǒng)訪問權限、缺失的硬性互鎖機制、以及上下文窗口壓縮導致的指令遺忘。這意味著安全漏洞并非偶然故障，而是內(nèi)生于技術路徑之中。
對企業(yè)高管而言，部署前的治理框架已成剛需。這包括架構級控制、安全審計、緊急切斷程序，以及針對失控場景的應急預案。在AI代理能夠"行動"之前，人類需要先建好"剎車"。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
