新智元報(bào)道

【新智元導(dǎo)讀】反轉(zhuǎn)了反轉(zhuǎn)了，過(guò)去我們給AI跑分，今天Claude開(kāi)始反手給人類打分！它會(huì)通過(guò)11個(gè)指標(biāo)來(lái)分析你和它的歷史對(duì)話，判斷你使用AI的水平高低。在AI眼里，你是高手還是萌新？

倒反天罡，AI開(kāi)始給人類打分了！

搞出這個(gè)功能的，還是那個(gè)抽象的Anthropic。

這個(gè)功能雖然目前還在灰度測(cè)試階段，但已經(jīng)在海外AI圈迅速傳開(kāi)了。

AI是怎么給人類打分的？

想象一下這個(gè)畫(huà)面：你打開(kāi)Claude的設(shè)置面板，點(diǎn)開(kāi)一個(gè)名為「AI Fluency」的專屬屏幕，點(diǎn)擊生成報(bào)告。

幾秒鐘后，一份關(guān)于你AI使用習(xí)慣的「體檢報(bào)告」就赫然出現(xiàn)在眼前。

它不僅掃描了你在Chat（日常對(duì)話）、Cowork（協(xié)作空間）甚至硬核的Claude Code里的每一次交互，還會(huì)根據(jù)一套嚴(yán)密的標(biāo)準(zhǔn)進(jìn)行打分（滿分11分）。

已經(jīng)有手速快的網(wǎng)友分享出AI給自己的評(píng)價(jià)了——7.5分。

更可怕的是，AI的評(píng)價(jià)可謂是一針見(jiàn)血，直戳痛點(diǎn)。

這位網(wǎng)友分享了Claude給他的弱點(diǎn)分析：「比如，報(bào)告指出我極其頻繁地使用各種Connector，但只要話題涉及體育數(shù)據(jù)、食譜，甚至地圖和地理位置，我就表現(xiàn)得一無(wú)所知?！?/p>

甚至，Claude不僅指出了他的問(wèn)題，還直接上手給出了指導(dǎo)：比如「主動(dòng)通過(guò)情境激發(fā)AI的敏銳辨別力」，以及「在讓我寫(xiě)第一稿之前，試著對(duì)我說(shuō)——給我一個(gè)簡(jiǎn)潔的要點(diǎn)摘要，不要任何前言廢話。這樣能讓你的初稿干凈得多」。

太恐怖了，這哪里是冷冰冰的軟件，簡(jiǎn)直是一個(gè)拿著教鞭、對(duì)你恨鐵不成鋼的賽博導(dǎo)師。

還有網(wǎng)友激動(dòng)地發(fā)帖尋找共鳴：「我也看到了！我特地跑來(lái)論壇確認(rèn)我沒(méi)瘋！我生成了報(bào)告，結(jié)果回到筆記本電腦前，服務(wù)器報(bào)了個(gè)錯(cuò)，功能就消失了！」

現(xiàn)在，這個(gè)驚鴻一瞥的泄露，把人們的胃口吊到了極點(diǎn)。

大家都在好奇：這11項(xiàng)打分標(biāo)準(zhǔn)，到底是什么？

近萬(wàn)份匿名對(duì)話揭秘，何為「AI流利度」？

要搞清楚這11項(xiàng)標(biāo)準(zhǔn)，我們必須把時(shí)間線拉回到Anthropic發(fā)布的那份極具前瞻性的硬核研究——《AI流利度指數(shù)報(bào)告》。

在過(guò)去，我們總以為「會(huì)寫(xiě)復(fù)雜的提示詞」就是懂AI。但Anthropic認(rèn)為，這種觀念太狹隘了。隨著模型越來(lái)越聰明，死記硬背提示詞模板已經(jīng)過(guò)時(shí)了。

真正的高手，掌握的是一種被稱為「AI流利度」的軟技能。就像你熟練掌握一門外語(yǔ)一樣，流利度意味著你能自然、高效、無(wú)縫地與AI協(xié)作。

為了量化這種玄學(xué)，Anthropic聯(lián)合學(xué)術(shù)界的Rick Dakan和Joseph Feller教授，提出了著名的「4D AI流利度框架」。

研究團(tuán)隊(duì)動(dòng)用了強(qiáng)大的隱私保護(hù)分析工具（全程無(wú)人工干預(yù)，用Claude 4負(fù)責(zé)行為分類，Claude 3.5 Haiku負(fù)責(zé)語(yǔ)言檢測(cè)），在一個(gè)瘋狂的星期里，對(duì)9830段真實(shí)的、多輪拉扯的匿名人類對(duì)話進(jìn)行了深度掃描。

他們驚訝地發(fā)現(xiàn)：這世上的AI用戶，差距比人和狗都大。

在24項(xiàng)衡量人機(jī)協(xié)作的終極標(biāo)準(zhǔn)中，有13項(xiàng)發(fā)生在屏幕之外（比如你是否對(duì)老板隱瞞了工作是AI做的，你是否考慮了AI生成內(nèi)容的倫理后果等），而剩下的11項(xiàng)，則是可以在聊天框里直接觀測(cè)到的絕對(duì)指標(biāo)。

每種 AI 流暢度行為指標(biāo)在 9,830 次 Claude.ai 對(duì)話中的流行率，按能力從最常見(jiàn)到最不常見(jiàn)排序，并按能力顏色編碼

這11項(xiàng)指標(biāo)，就是如今內(nèi)置在Claude里的「評(píng)分卡」的底層邏輯！

它們主要圍繞三個(gè)大維度展開(kāi)：描述、委托和辨別。

11面「照妖鏡」，你在哪一步現(xiàn)了原形？

準(zhǔn)備好接受審視了嗎？讓我們逐一拆解這11項(xiàng)核心行為指標(biāo)。

維度一：描述——你真的知道自己想要什么嗎？

很多人的對(duì)話框是這樣的：「幫我寫(xiě)個(gè)周報(bào)」、「寫(xiě)一個(gè)貪吃蛇代碼」。

在Claude眼里，這種指令的流利度幾乎為零。真正的高手會(huì)在「設(shè)定目標(biāo)」和「構(gòu)建對(duì)話」上花心思。

1.明確目標(biāo)

你是否向AI解釋了你做這件事的最終目的？

低分玩家：「幫我潤(rùn)色這段英文。」

高分玩家：「我要給硅谷的一家風(fēng)投機(jī)構(gòu)發(fā)Cold Email爭(zhēng)取融資，請(qǐng)幫我潤(rùn)色這段英文，確保語(yǔ)氣自信但不過(guò)分傲慢。」

2.指定格式

你是否清晰界定了輸出的樣子？

高分玩家懂得使用：「請(qǐng)用Markdown表格輸出」、「請(qǐng)以3個(gè)小標(biāo)題+每段不超過(guò)50字的要點(diǎn)格式呈現(xiàn)」。

3.提供示例

Few-shot永遠(yuǎn)是王者。

你是否在讓AI干活前，先喂給它一個(gè)你認(rèn)可的范例？「請(qǐng)模仿以下這篇爆款文章的口吻來(lái)寫(xiě)……」

4.補(bǔ)充上下文

AI不是你肚子里的蛔蟲(chóng)。

你是否提供了必要的背景信息？比如你的行業(yè)背景、目標(biāo)受眾特征、甚至是之前踩過(guò)的坑。

維度二：委托——把AI當(dāng)合伙人，而不是自動(dòng)售貨機(jī)

在Anthropic的報(bào)告中有一個(gè)驚人的發(fā)現(xiàn)：最常見(jiàn)的AI流利度表現(xiàn)是「增強(qiáng)型」的。

這意味著人們把AI當(dāng)成思維的火花碰撞機(jī)，而不是直接把活兒全部扔給AI。這類對(duì)話所展現(xiàn)的流利度，是那種簡(jiǎn)短一來(lái)一回對(duì)話的兩倍多！

5.迭代與精煉——最強(qiáng)預(yù)測(cè)因子！

這是整份報(bào)告中最最最重要的一個(gè)指標(biāo)！高達(dá)85.7%的高質(zhì)量對(duì)話中包含這個(gè)行為。

什么叫迭代？就是不要接受AI的第一次回答！

低分玩家：看到AI寫(xiě)得爛，罵一句智障，然后開(kāi)啟一個(gè)新對(duì)話。

高分玩家：「你第一點(diǎn)的方向?qū)α?，但第二點(diǎn)太學(xué)術(shù)了。請(qǐng)保留第一點(diǎn)，把第二點(diǎn)換成更接地氣的生活案例，然后再試一次?！?/p>

6.任務(wù)拆解

你是否試圖讓AI一次性寫(xiě)出一本10萬(wàn)字的小說(shuō)？

流利度高的用戶懂得把龐大的目標(biāo)拆解：「我們先討論一下大綱；好的，現(xiàn)在基于大綱寫(xiě)第一章的前半部分……」

7.探討方法

在動(dòng)手之前，你有沒(méi)有問(wèn)過(guò)AI：「你覺(jué)得解決這個(gè)問(wèn)題，最好的流程是什么？」

讓AI先輸出它的思考路徑，你再進(jìn)行修正。

維度三：辨別——不要被AI的花言巧語(yǔ)騙了

隨著大模型越來(lái)越聰明，它們的幻覺(jué)也編造得越來(lái)越逼真。辨別力，是你在這個(gè)時(shí)代保命的底線。

8.質(zhì)疑推理

當(dāng)AI給出一個(gè)反直覺(jué)的結(jié)論或復(fù)雜的代碼時(shí)，你有沒(méi)有追問(wèn)一句：「你得出這個(gè)結(jié)論的邏輯是什么？」、「請(qǐng)逐行解釋這段代碼為什么這樣寫(xiě)？」

9.事實(shí)核查

你是否要求AI為其提供的數(shù)據(jù)給出引用，或者通過(guò)提問(wèn)來(lái)驗(yàn)證其準(zhǔn)確性？

10.識(shí)別缺失的上下文

當(dāng)AI給出的方案看似完美但脫離實(shí)際時(shí)，你能否敏銳指出：「你剛才的分析忽略了我們公司目前預(yù)算只有1萬(wàn)塊錢這個(gè)事實(shí)，請(qǐng)重新評(píng)估?！?/p>

11.評(píng)估結(jié)果

明確地對(duì)AI的產(chǎn)出進(jìn)行評(píng)價(jià)：「你這次使用的比喻非常精準(zhǔn)，但結(jié)尾的情感升華還不夠，我們需要調(diào)整結(jié)尾?！?/p>

最可怕的洞察：精美包裝下的思考降級(jí)

在這份數(shù)萬(wàn)字的報(bào)告中，如果說(shuō)有什么發(fā)現(xiàn)讓人細(xì)思極恐，那絕對(duì)是關(guān)于「Artifact Paradox」的發(fā)現(xiàn)。

在涉及artifacts的對(duì)話中（樣本量為1,209），相比無(wú)artifacts的對(duì)話（樣本量為8,621），行為指標(biāo)的普遍性呈現(xiàn)出以下特征：描述行為和委派行為有所增加，而所有三種辨識(shí)行為均有所減少

我們都知道，Claude最殺手級(jí)的功能就是Artifacts（可以隨時(shí)生成網(wǎng)頁(yè)、代碼、流程圖、互動(dòng)界面的可視化窗口）。在包含這類高級(jí)產(chǎn)出的對(duì)話中（占樣本的12.3%），人類與AI的協(xié)作方式發(fā)生了劇烈的突變。

乍一看，人類似乎變得更專業(yè)了：明確目標(biāo)的比例暴增14.7%；指定格式的比例暴增14.5%；提供示例的比例暴增13.4%。

在工作開(kāi)始前，人類像個(gè)精明的項(xiàng)目經(jīng)理，把一切安排得明明白白。

但是！一旦AI生成了那個(gè)看起來(lái)精美絕倫、運(yùn)行絲滑的Artifact成果，人類的腦子就集體罷工了！

數(shù)據(jù)冷酷地揭示了這一點(diǎn)：在產(chǎn)出這種精美成果的對(duì)話中，人類的批判性審查能力出現(xiàn)了斷崖式下跌。

- 識(shí)別缺失上下文的概率下降5.2%

- 核查事實(shí)的概率下降3.7%

- 質(zhì)疑AI推理邏輯的概率下降3.1%

這是為什么？Anthropic的分析師一針見(jiàn)血地指出：因?yàn)榭雌饋?lái)太像真的了！

當(dāng)AI給你一段干巴巴的文字時(shí)，你會(huì)下意識(shí)地挑錯(cuò)；但當(dāng)AI直接給你渲染出一個(gè)排版精美的PDF，或者一個(gè)點(diǎn)擊按鈕還會(huì)發(fā)光的App界面時(shí)，你潛意識(shí)里會(huì)覺(jué)得：「哇，它連這么復(fù)雜的UI都做出來(lái)了，它背后的邏輯肯定沒(méi)問(wèn)題?！?/p>

如果東西看起來(lái)是完成的，用戶就會(huì)把它當(dāng)成完成的。

但這恰恰是最危險(xiǎn)的時(shí)刻！

Anthropic近期的經(jīng)濟(jì)指數(shù)報(bào)告表明，任務(wù)越復(fù)雜，大模型翻車的概率其實(shí)越高。在最需要事實(shí)核查的復(fù)雜代碼和高級(jí)圖表面前，人類反而放下了戒備。

想拿高分？掌握最強(qiáng)殺器——無(wú)盡迭代

既然知道了陷阱，那通關(guān)的秘籍是什么？

核心就是四個(gè)字：迭代精煉。

在用戶進(jìn)行迭代與優(yōu)化的對(duì)話中（樣本量為8,424），相較于未進(jìn)行迭代與優(yōu)化的對(duì)話（樣本量為1,406），所有行為指標(biāo)的普遍性均有顯著提升

報(bào)告顯示，在會(huì)使用「迭代」的用戶對(duì)話中，平均會(huì)展現(xiàn)出2.67種其他的流利度行為；而不使用迭代的用戶，這個(gè)數(shù)字只有可憐的1.33。

毫不夸張地說(shuō)，「迭代」是衡量一個(gè)人會(huì)不會(huì)用AI的絕對(duì)分水嶺。

不懂迭代的人，把AI當(dāng)成搜索框；懂迭代的人，把AI當(dāng)成初級(jí)實(shí)習(xí)生。

高能預(yù)警！這是一組極其震撼的倍數(shù)對(duì)比。

那些習(xí)慣和Claude進(jìn)行多輪迭代來(lái)打磨作品的人，比起不迭代的人，去質(zhì)疑AI邏輯的概率，飆升了 5.6倍！去識(shí)別上下文缺失的概率，飆升了4倍！

這就是為什么同樣是用Claude，有的人能用它寫(xiě)出拿下百萬(wàn)融資的商業(yè)計(jì)劃書(shū)，有的人卻覺(jué)得它連個(gè)請(qǐng)假條都寫(xiě)不好。

差距不在于AI，而在于你是否愿意在對(duì)話框里多聊五塊錢的。

下次當(dāng)你覺(jué)得AI生成的文章沒(méi)有靈魂時(shí)，不要點(diǎn)重新生成，而是打下這段話：「你上面這版結(jié)構(gòu)不錯(cuò)，但語(yǔ)氣太像機(jī)器了?，F(xiàn)在，假設(shè)你是一個(gè)有著10年經(jīng)驗(yàn)、性格有些幽默毒舌的行業(yè)老炮，請(qǐng)保持原有大綱，把全文重寫(xiě)一遍，多用短句，并在第三段加一個(gè)自嘲的笑話?！?/p>

當(dāng)你開(kāi)始習(xí)慣這樣對(duì)話時(shí)，你的AI流利度分?jǐn)?shù)絕對(duì)會(huì)直線飆升。

從工具到技能，Anthropic在下一盤大棋

看到這里，你可能會(huì)問(wèn)：Anthropic為什么要費(fèi)這么大勁，去分析人類的行為，干嘛不直接卷參數(shù)、卷跑分？

這恰恰是Anthropic區(qū)別于其他AI大廠的最高明之處：他們正在重新定義AI。

通過(guò)《AI流利度報(bào)告》，他們告訴人類：AI不是一個(gè)你買來(lái)就能自動(dòng)變強(qiáng)的裝備，AI是一門需要你不斷練習(xí)的語(yǔ)言和技能。

把研究成果變成產(chǎn)品中的評(píng)分卡，這是一個(gè)極其精妙的反饋閉環(huán)。而Claude的評(píng)分卡，就是你的Apple Watch。

通過(guò)這種游戲化、數(shù)據(jù)化的方式，Anthropic正在培養(yǎng)全世界最懂AI、素養(yǎng)最高的一批超級(jí)用戶。

這不僅僅是為了產(chǎn)品留存，更是為了更安全的AI未來(lái)——因?yàn)橹挥芯邆涓弑鎰e力的人類，才不會(huì)被未來(lái)那些聰明到可怕的AI所蒙蔽。

據(jù)透露，Anthropic已經(jīng)成立了Anthropic學(xué)院，推出了AI流利度系列課程，甚至開(kāi)始與PayPal以及全球各大頂尖高校開(kāi)展合作。

未來(lái)，不同人類使用起AI，區(qū)別將很參差。

人類，讓AI給你打個(gè)分吧

如今，很多人都在焦慮：AI會(huì)不會(huì)搶走我的工作？

但真正的問(wèn)題或許是：你配得上現(xiàn)在這么強(qiáng)大的AI嗎？

Claude即將上線的AI流利度評(píng)分卡，就像一面照妖鏡。它照出了我們?cè)谛录夹g(shù)面前的懶惰，也指明了通往強(qiáng)者的道路。

雖然目前這個(gè)功能何時(shí)全量上線、是否對(duì)免費(fèi)用戶開(kāi)放還是個(gè)未知數(shù)，但標(biāo)準(zhǔn)已經(jīng)擺在面前了。

問(wèn)題來(lái)了，按照這11項(xiàng)指標(biāo)，AI給你打多少分？

參考資料：

https://www.testingcatalog.com/anthropic-to-introduce-personal-ai-fluency-scorecard-in-claude/

https://www.anthropic.com/research/AI-fluency-index

編輯：Aeneas David