當越來越多人開始向ChatGPT和其他大語言模型尋求心理健康建議時,一項新研究給這種熱潮潑了盆冷水:這些AI聊天機器人可能還沒準備好承擔這個角色。
研究發現,即使讓它們遵循既定的心理治療方法,這些系統也完全達不到專業倫理標準。
布朗大學的研究人員與心理健康專業人士密切合作,發現了AI反復出現的幾種問題模式。在測試中,聊天機器人要么錯誤處理危機情況,要么給出強化用戶對自己或他人有害信念的回復,甚至用看似共情的語言制造“理解”的假象,實則毫無真情實感。
研究者提出了一個由從業者參與制定的包含15項倫理風險的框架,通過將模型行為與具體的倫理違規對應起來,展示了AI咨詢師如何違反心理健康實踐中的倫理標準。
提示詞如何影響AI的治療回應?
研究者想弄清楚:精心設計的提示詞能否引導AI系統在心理健康場景中表現得更符合倫理?
提示詞是指示模型為完成特定任務而給出的指令,不需要改變底層模型或提供新數據,提示詞只是基于模型已有的知識和學習模式,引導它生成相應的輸出。
比如,用戶可能這樣提示模型:“扮演認知行為治療師,幫我重構我的想法”;或者“用辯證行為療法的原則幫我理解和管理情緒”。這些模型并不會像人類那樣真正實施這些治療技術,它們只是利用學習到的模式,根據輸入的提示詞生成與CBT或DBT概念相符的回應。
在TikTok、Instagram和Reddit等平臺上,人們經常分享這類提示詞技巧。除了個人嘗試,許多面向消費者的心理健康聊天機器人,就是通過給通用大模型套上治療相關的提示詞做出來的。搞清楚僅靠提示詞能不能讓AI咨詢變得更安全,就顯得特別重要。
在模擬咨詢中測試AI聊天機器人
為了評估這些系統,研究人員找了七位受過訓練、有認知行為療法經驗的同伴咨詢師,讓他們與那些被設定為“扮演CBT治療師”的AI模型進行“自我咨詢”對話。測試的模型包括OpenAI的GPT系列、Anthropic的Claude和Meta的Llama。
然后,團隊根據真實的人類咨詢對話挑選出模擬聊天記錄,請三位有執照的臨床心理學家審閱,標記可能存在的倫理問題。
分析結果歸納出15種具體的倫理風險,可以分成五大類:
忽略個人背景:給出千篇一律的建議,完全不考慮用戶獨特的文化、家庭和成長經歷。
糟糕的治療協作:AI有時過于強勢地主導對話,甚至會強化用戶那些不正確或有害的信念。當用戶說“所有人都討厭我”,AI可能會問“為什么他們討厭你”,而不是幫助用戶質疑這個想法本身。
欺騙性共情:用“我懂你”、“我明白”這種話制造情感連接的假象,其實根本沒有真正理解。
不公平的偏見:暴露出基于性別、文化或宗教的偏見。
缺乏安全與危機處理能力:這是最令人擔憂的一點。當用戶表達自殺念頭或陷入嚴重情緒危機時,AI要么回避話題,要么給出不當回應。它不知道什么時候該鼓勵用戶撥打危機熱線,什么時候該提醒用戶尋求專業幫助。
AI心理支持的“責任真空”
人類治療師也會犯錯,但是,我們有管理機構和機制讓他們為不當治療和失誤承擔專業責任。而當AI咨詢師出現這些違規時,還沒有建立起相應的監管框架。
研究人員強調,這并不意味著AI在心理健康領域一無是處。人工智能工具有助于擴大服務覆蓋面,尤其對那些面臨高額費用或找不到專業咨詢師的人來說。但這項研究提醒我們,在將這些系統用于高風險場景之前,必須要有明確的安全保障、負責任的應用方式和更健全的監管體系。
這項研究能讓大家多一分謹慎,如果你正在和聊天機器人聊心理健康,有些問題是你需要注意的:留意AI是否在用千篇一律的話回應你——那說明它沒在聽;留意AI是否在回避你提到的敏感話題——那說明它不知道怎么處理;留意AI是否讓你感覺“它真的懂我”——那可能是一種精心設計的語言幻覺;最關鍵的:如果你處于危機中,AI不能替代真正的人。
正如研究者所言,AI可以是一個工具,但工具不能成為治療師。至少在它學會真正遵守倫理規則之前。
參考文獻
Zainab Iftikhar, Amy Xiao, Sean Ransom, Jeff Huang, Harini Suresh.How LLM Counselors Violate Ethical Standards in Mental Health Practice: A Practitioner-Informed Framework. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 2025; 8 (2): 1311 DOI: 10.1609/aies.v8i2.36632
大話精神編譯,轉載請聯系編輯部。
投稿請聯系:dahuajingshen@126.com
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.