當(dāng)對話型 AI 服務(wù)于數(shù)十億用戶時(shí)，我們能否看見用戶沒說出口的那一層？JHU、MIT 和 Google Research 給出了新的解法。

對話型 AI 系統(tǒng)的部署規(guī)模已達(dá)到前所未有的量級，每天處理數(shù)十億次用戶交互。然而，絕大多數(shù)現(xiàn)有研究都聚焦于用戶「說了什么」，對于用戶在對話中「想了什么」這一更深層的維度，仍是一片幾乎未被探索的空白。

無論是 WildChat、LMSYS-Chat-1M 這類對話數(shù)據(jù)集，還是相關(guān)的方法和測試基準(zhǔn)，它們都將對話文本視為唯一可觀測單元 —— 用戶未說出口的動機(jī)、限制、風(fēng)格期望以及對回復(fù)的真實(shí)評價(jià)，則被默認(rèn)丟棄。事實(shí)上，由于「最少努力原則」(principle of least effort) 與語用層面的壓力，用戶寫下的提示與他們腦中的真實(shí)意圖之間存在天然的信息損失：口頭表達(dá)高效、社交得體、目的導(dǎo)向，卻并非內(nèi)部心理狀態(tài)的完整呈現(xiàn)。

目前主流的對齊方法大多依賴偏好評分、點(diǎn)贊點(diǎn)踩或基于消息文本的反饋，這些信號難以分辨「哪一部分回答讓用戶不滿意」「為什么不滿意」，也無法揭示用戶在多輪交互中如何在內(nèi)心演進(jìn)自己的目標(biāo)。因此，一個關(guān)鍵問題浮出水面：

如何在真實(shí)的人機(jī)對話中，系統(tǒng)性地捕捉用戶那些「未言明的思考」，并將其作為新的數(shù)據(jù)模態(tài)用于訓(xùn)練和評估 AI 助手？

近日，一篇來自JHU、MIT 與 Google Research的研究，為這一問題提供了一種解法。

他們提出了ThoughtTrace—— 首個將真實(shí)多輪人機(jī)對話與用戶「自我報(bào)告的思考」配對的大規(guī)模數(shù)據(jù)集。這里所說的思考分為兩類：用戶發(fā)送提示前的 reasons（動機(jī)、目標(biāo)、上下文、內(nèi)容與風(fēng)格期望等），以及用戶讀到 AI 回復(fù)后的 reactions（滿意、對內(nèi)容、風(fēng)格或范圍的具體不滿等）。這些第一人稱認(rèn)知痕跡捕捉了每一次對話背后的隱藏認(rèn)知層，將「可觀測的語句」與「真實(shí)的用戶意圖」之間的鴻溝系統(tǒng)性地填補(bǔ)起來。

在這一框架下，研究人員構(gòu)建了一個具有以下規(guī)模的語料庫：

• 1,058 名用戶
• 2,155 段多輪對話
• 17,058 次交互輪次
• 10,174 條思考標(biāo)注
• 覆蓋 20 個不同的語言模型（包括 GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro Preview 等前沿模型，以及若干開源輕量模型）

基于這一數(shù)據(jù)，作者證明：思考能夠?qū)⑾乱粭l用戶消息預(yù)測的語義相似度從 21.6 提升至 30.6（相對提升 41.7%），并將基于 Arena-Hard 的對齊勝率提升 25.6%。這為后續(xù) RL、DPO 等訓(xùn)練范式提供了一種全新的、ground-truth 級別的監(jiān)督信號。

• 論文標(biāo)題：ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions
• 論文鏈接：https://arxiv.org/abs/2605.20087

方法概覽

為了讓用戶在自然對話中誠實(shí)地外化自己的思考，作者通過 Prolific 招募參與者，并設(shè)計(jì)了一套四步的采集流程：

• 知情同意：參與者簽署知情同意書，明確自愿參與與可隨時(shí)退出的權(quán)利。
• 教程與測驗(yàn)：通過引導(dǎo)式教程學(xué)習(xí)聊天界面、標(biāo)注思考，并通過簡短的理解測驗(yàn)后才進(jìn)入正式環(huán)節(jié)。
• 帶思考標(biāo)注的對話：參與者自行設(shè)定兩個開放式任務(wù)，自由地與 AI 多輪交流；在每條用戶消息上標(biāo)注 reason、在每條 AI 回復(fù)上標(biāo)注 reaction。用戶可以隨時(shí)開啟新對話或結(jié)束任務(wù)，且標(biāo)注對 AI 完全不可見。
• 任務(wù)后調(diào)查：完成任務(wù)后描述自己實(shí)際完成了什么、對 AI 有什么期望，并填寫涵蓋年齡、性別、教育、職業(yè)、AI 使用頻率與主要用途的問卷。

每條 ThoughtTrace 記錄對應(yīng)一段完整的對話，按時(shí)間戳保存所有用戶消息、AI 回復(fù)以及附著其上的思考。其中 reason 來自 7 種類型之一，reaction 來自 5 種類型之一，每條思考都帶有自己的時(shí)間戳與文本內(nèi)容。

視頻鏈接：https://mp.weixin.qq.com/s/fxYJRiIsVNbVHO3HMZ9TEQ?click_id=18

數(shù)據(jù)特性

作者從兩個維度刻畫 ThoughtTrace：對話層面和思考層面。

對話層面有三大特性：

• 代表性的用戶群：覆蓋 18 至 65+ 各年齡段、多種教育水平與職業(yè)身份，AI 使用頻率從「從未」到「每日多次」，符合頻繁 AI 用戶的人口畫像。
• 長程、多元的對話：ThoughtTrace 的對話中位數(shù)為 8 輪，而 WildChat 與 LMSYS-Chat-1M 都是 2 輪；話題分布跨越 7 個大類、36 個細(xì)分子主題，沒有單一類別占主導(dǎo)。
• 任務(wù)延伸主導(dǎo)：57.0% 的用戶消息屬于「在已有任務(wù)上擴(kuò)展、深化、迭代」，遠(yuǎn)超新請求 (12.5%)、重試 (2.9%) 和變體 (2.3%)，且這種延伸模式隨對話進(jìn)展而愈發(fā)顯著。

思考層面則呈現(xiàn)四個關(guān)鍵性質(zhì)：

• 思考與消息顯著不同：嵌入空間可視化與基于 LLM 的語義覆蓋打分均顯示，用戶消息對其背后 reason 的覆蓋度僅 3.22 (1–5 分制)，對前一輪 reaction 的覆蓋度僅 2.00—— 對話文本遠(yuǎn)不能完整復(fù)現(xiàn)用戶的內(nèi)心活動。
• 思考對前沿 LLM 而言難以推斷：讓 GPT-5.4、Gemini 3.1 Pro Preview、Claude Opus 4.6 從對話上下文中推測用戶的 reason 與 reaction，三模型平均得分僅為 2.93 和 2.54，介于「極少重疊」與「部分重疊」之間。
• 思考內(nèi)容高度多元：7 種 reason 涵蓋 Task Motivation & Goal (36.9%)、Task Continuation (21.4%)、Context Grounding & Constraints (13.1%)、Content Expectation (11.5%)、Task Reorientation (11.1%)、Style Expectation (5.0%) 和 Social and Others (1.0%)；5 種 reaction 包括 Explicit Affirmation (72.2%)、Content Relevance (11.9%)、Presentation Style (6.4%)、Scope Fit (6.1%)、Partial Satisfaction (3.4%)。
• 思考隨對話階段動態(tài)變化：Task Motivation 主導(dǎo)早期，Task Continuation 在中后期占主導(dǎo)；Explicit Affirmation 從早期 67% 上升至晚期 79%，反映對話向令人滿意的回答收斂。這種動態(tài)獨(dú)立于話題或長度，僅與對話階段和多輪關(guān)系相關(guān)。

實(shí)驗(yàn)結(jié)果

為了驗(yàn)證這些「內(nèi)心思考」是否真能用于下游建模，作者設(shè)計(jì)了兩組關(guān)鍵實(shí)驗(yàn)，分別考察 thoughts 在推理時(shí)和訓(xùn)練時(shí)的價(jià)值。

實(shí)驗(yàn)一：Thoughts Predict User Behavior

讓 LLM 預(yù)測用戶的下一條消息 —— 分別在「僅有對話歷史」與「歷史 + 用戶思考標(biāo)注」兩種條件下，評估三個前沿模型，并使用隨機(jī)抽取的另一個模型作為 LLM judge 評判 0–100 分的語義相似度。

僅僅向模型提供用戶的內(nèi)心思考，平均預(yù)測分?jǐn)?shù)從 21.6 躍升到 30.6，相對提升 41.7%。Opus 4.6 的提升尤為顯著，單獨(dú)提升 14.2 個點(diǎn)。這說明 ThoughtTrace 中的 reason 與 reaction 提供了對話歷史所不具備的、能夠預(yù)示用戶未來行為的可執(zhí)行信號 —— 這一發(fā)現(xiàn)對構(gòu)建高保真用戶模擬器、面向用戶主動協(xié)助的智能體均有直接價(jià)值。

實(shí)驗(yàn)二：Thoughts Improve Model Alignment

作者直接利用 ThoughtTrace 的 reaction 標(biāo)簽定位「用戶實(shí)際不滿意的回復(fù)」，再用對應(yīng)的思考內(nèi)容指引模型重寫，形成 thought-guided rewrites；將其與原始消息配對，在 Qwen3.5-4B 上進(jìn)行 DPO 訓(xùn)練，于 Arena-Hard 上評估。

• 相較基礎(chǔ)模型，思考引導(dǎo)版本在風(fēng)格控制勝率上提升 25.6%；
• 相較 WildChat 基線，提升 6.6%；
• 同樣在 ThoughtTrace 上，思考引導(dǎo)比消息引導(dǎo)高 4.5%，表明思考承載著比消息更豐富的不滿與修正信號。

更值得關(guān)注的是，思考能從同一批對話中識別出 1,000 條不滿意實(shí)例，而僅依賴消息只能挖出 450 條，前者是后者的 2.2 倍，證明了思考天然提供了更密集的監(jiān)督。這意味著 thoughts 不僅告訴我們「哪一條回答用戶不滿意」，還直接說明「應(yīng)當(dāng)如何修正」，把響應(yīng)識別和響應(yīng)修正兩件事統(tǒng)一進(jìn)了同一條監(jiān)督信號。

結(jié)語

作者將 thoughts 定位為人機(jī)交互研究的一種新數(shù)據(jù)模態(tài)：它捕捉用戶的潛在認(rèn)知，難以從語句中復(fù)原，跨越多種內(nèi)容形態(tài)，并隨對話階段動態(tài)變化。無論是用戶行為預(yù)測、模型對齊，還是未來的獎勵建模、On-Policy Distillation 等在線學(xué)習(xí)范式，思考都提供了消息文本所無法替代的細(xì)粒度信號。

ThoughtTrace 由此打開了三條新的研究方向：（1）用戶建模 —— 系統(tǒng)研究人機(jī)交互中的動態(tài)心理過程；（2）模型訓(xùn)練 —— 把思考作為新的監(jiān)督信號，用于訓(xùn)練真正理解用戶潛在目標(biāo)與偏好的助手；（3）評估 —— 構(gòu)建以思考為中心的基準(zhǔn)，把評估從表面語句推進(jìn)到潛在意圖與主觀體驗(yàn)。

正如論文所言，ThoughtTrace 將用戶思考確立為研究人機(jī)交互背后認(rèn)知動力學(xué)的一種基礎(chǔ)信號，也為構(gòu)建真正理解用戶「潛在目標(biāo)、偏好與需求」的下一代 AI 助手，鋪設(shè)了一條新的研究路徑。

更多內(nèi)容請參閱論文原文與項(xiàng)目主頁。