AI正在迅速改變工作，領(lǐng)導者難以清晰闡述其組織將如何適應，這是可以理解的。這是因為缺乏對"優(yōu)秀"標準的明確定義。頂尖的AI使用者在與AI工具協(xié)作時展現(xiàn)出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個AI平臺，并將日益復雜的多步驟任務(wù)委派給AI，這反映出一種更成熟的、將AI視為動態(tài)協(xié)作者而非單一用途工具的心智模型。

企業(yè)正迅速將AI工具交到員工手中。然而，盡管投入巨大，許多領(lǐng)導者仍在努力評估其成效。AI是否切實提升了工作質(zhì)量、速度與雄心？它是否增強了專業(yè)判斷力？誰在用AI方面取得了成功，原因何在？成功的應用究竟是何面貌？

由于目前還沒有大規(guī)模適用的工具和框架來衡量員工的定性成果，大多數(shù)組織缺乏明確的、基于行為的信號來表明人工智能是否產(chǎn)生了積極影響。在缺乏有效信號時，領(lǐng)導者往往退而求其次，選擇最易量化的表層指標：使用頻次、在線時長、提示詞數(shù)量、消耗的token量以及員工自評的技能水平，這些便成了衡量AI應用進展的替代性指標。換句話說，他們衡量的是活動量，而非應用水平或?qū)嶋H影響力。

不足為奇，績效提升參差不齊，領(lǐng)導者難以就員工如何利用AI提升績效提供具體指導。沒有更有效的衡量方式，領(lǐng)導者就無法判斷哪些行為需要強化，哪些需要教導，哪些需要摒棄。

為了解常規(guī)AI使用與高級人機協(xié)作之間的區(qū)別，畢馬威與德克薩斯大學奧斯汀分校的研究人員合作。我們共同分析了在八個月期間，由約2500名員工生成的超過140萬條AI提示詞與回復。通過這項分析，我們建立了一個基于提示詞工程的高級使用定義——強調(diào)清晰的提示詞加上有意識應用的策略——并發(fā)掘了一組低成本、可觀察的指標，例如模型切換和結(jié)構(gòu)化的初始提示詞，這些指標可預測高水平使用。這些洞察正被系統(tǒng)性地融入畢馬威的人才發(fā)展、學習體系與績效管理框架中，形成一套可供任何組織借鑒的完整方法論——用于系統(tǒng)性培養(yǎng)并科學評估員工高階AI應用能力。

頂尖AI使用者有何不同？

項目開始時，畢馬威的AI應用已達到相對成熟的階段：近90%的員工定期使用AI，且可用的工具集不斷增長。公司可以衡量使用頻率，但缺乏對有效或高級應用的具體定義及其衡量方法。這是個問題。沒有這種清晰度，就難以推動組織超越基礎(chǔ)應用的階段。我們相信，如果能定義和衡量"優(yōu)秀"的標準，就能更有意識地鼓勵全公司范圍內(nèi)的、高影響力的高級AI使用。

我們的研究分析了涵蓋不同職能、角色和經(jīng)驗水平的多元化專業(yè)人士的習慣?；叵胍幌?，在八個月的時間里，我們創(chuàng)建了一個包含2500名員工所有生成提示詞與答案的檔案——總計140萬條。數(shù)據(jù)集的規(guī)模和持續(xù)時間使我們能夠超越一時之快，不僅看到員工在某一天如何使用AI，還能觀察到他們在界定問題、引導推理、評估輸出以及將AI應用于不同類型工作的模式，如何隨著時間演變和分化。

為了分析這些數(shù)據(jù)，我們請OpenAI的"思維模型"之一——ChatGPT模型o1——來評估每次對話（包括提示詞和回復），并判斷某些特征是否存在，包括用例類型、提示詞工程策略以及AI使用的其他行為指標。這項分析消耗了大量計算時間，產(chǎn)生了超過50個變量，隨后我們對其進行了提煉。

掌握了這些信號后，我們提出疑問：這些信號如何提供一個簡化的指南，幫助人們實現(xiàn)更有效的使用？它們能否在不使用我們研究中那樣昂貴計算資源的情況下，幫助我們識別"超級用戶"？以下是我們發(fā)現(xiàn)的。

解析高級應用

當我們識別出公司里最高級的用戶時，發(fā)現(xiàn)他們在角色和資歷上差異很大，但也出現(xiàn)了明顯的共同點。我們發(fā)現(xiàn)高級用戶似乎都具備四種不同的行為模式：

他們在使用AI時抱有雄心。高級的AI應用源于長期積累的復合行為，而不僅僅是使用量。頂級用戶往往與大型語言模型有更長的互動和更多來回對話；撰寫更長、更復雜的初始提示詞；根據(jù)任務(wù)有意識地在模型或工具間切換；并且使用AI的頻率相對較高。

他們將AI視為推理伙伴。他們并非全盤接受初始輸出，而是主動塑造模型的思考。他們使用諸如角色定義、為LLM提供期望輸出的示例、迭代優(yōu)化、自我驗證和結(jié)構(gòu)化推理提示等技術(shù)。其價值來自長期引導模型，而非提出"更好"的一次性問題。他們讓模型幫助思考問題、檢驗假設(shè)、探索替代方案。這種行為體現(xiàn)在堅持解決問題、使用結(jié)構(gòu)化提示詞和采用迭代改進上。

他們以清晰的目標委派復雜任務(wù)。高級用戶也更可能將復雜的、多步驟的任務(wù)委派給AI。他們會指定約束條件和成功標準，定義期望的回應結(jié)構(gòu)，并闡明清晰的目標。他們的雄心不僅體現(xiàn)在提示詞的長度上，還體現(xiàn)在所委派任務(wù)的復雜性上。

他們將AI視為通用認知工具，而非狹隘的"生產(chǎn)力捷徑"。高級應用體現(xiàn)在創(chuàng)意構(gòu)思、分析、技術(shù)指導、知識工作和問題解決等多個方面。高級用戶在廣泛的用例中運用AI，并根據(jù)用例在模型間有意識地切換。非正式語言、拼寫錯誤和對話式語氣常伴隨高級使用——這些都是微小但能說明問題的跡象，體現(xiàn)了用戶的自如和流暢。

一幅圖景由此浮現(xiàn)：高級用戶在與AI工具協(xié)作時展現(xiàn)出顯著的敏捷性和靈活性。他們更可能在模型間切換，利用多個AI平臺，并將日益復雜的多步驟任務(wù)委派給AI，這反映出一種更成熟的、將AI視為動態(tài)協(xié)作者而非單一用途工具的心智模型。

研究還揭示了一個令人驚訝的趨勢：最佳使用者往往是經(jīng)理級及以上的員工。這令我們感到意外，因為傳統(tǒng)觀點認為初級員工往往對這些工具感到更自在，使用起來也更自然。但研究結(jié)果表明，"自在"與"精通" 之間可能存在重要區(qū)別。

我們還注意到其他幾個重要趨勢：

盡管公司內(nèi)AI應用廣泛（再次強調(diào)，約90%），但我們發(fā)現(xiàn)僅有約5%的用戶符合我們定義的"高度精通"。這種早期高級使用的集中度表明，大型組織中的AI應用并非自然而然或均勻發(fā)生。相反，它強調(diào)，推動有意義、創(chuàng)造價值的應用，需要比僅僅向員工提供工具更刻意的干預。

盡管各級員工都使用LLM輔助寫作，但經(jīng)理及以上級別的員工更可能將LLM用于更多樣化的任務(wù)，如技術(shù)指導和創(chuàng)意構(gòu)思。這表明，經(jīng)驗和角色背景不僅影響AI使用的頻率，也影響其如何融入核心工作。

初級員工比高級員工更可能將公司的LLM用于個人任務(wù)。因此，使用頻率可能不是衡量生產(chǎn)力的可靠信號。

經(jīng)理以下職位的員工在與LLM互動時，更少采用有意識的策略，而經(jīng)理及以上員工則更可能這樣做。他們也更可能提出清晰的請求。

領(lǐng)導者應如何改變做法

研究結(jié)果表明，企業(yè)需要將AI工作的重點從推動應用轉(zhuǎn)向塑造習慣。當人們學會如何清晰界定問題、引導模型推理、批判性評估輸出，并在工作中靈活應用AI時，高級的AI應用便會出現(xiàn)。簡而言之，這更多關(guān)乎專業(yè)人士如何思考并借助AI做出決策，而更少關(guān)乎工具本身。那些產(chǎn)生影響的、可積累的少數(shù)行為是可觀察、可教授且可擴展的。

以下是領(lǐng)導者應關(guān)注的重點。

制定"AI優(yōu)先"的最佳實踐

如果你想通過AI獲得不同的結(jié)果，就必須讓不同的行為變得可見、可討論、可期待。研究揭示了畢馬威希望鼓勵的具體行為，因此領(lǐng)導者將其轉(zhuǎn)化為實用的手冊、簡短的說明以及同行主導的"先鋒"網(wǎng)絡(luò)，強調(diào)高級應用在日常工作中的樣子。其目標是創(chuàng)建一個關(guān)于"優(yōu)秀標準"的共識，并在全公司范圍內(nèi)強化。

重新思考技能提升

這些發(fā)現(xiàn)重塑了畢馬威的發(fā)展方式，重點在于幫助員工在完成本職工作的流程中，建立有效使用AI的信心。畢馬威投資于由跨職能團隊開發(fā)的、注重實踐的、基于應用的培訓。在各地辦公室和虛擬教室中，基于情景的培訓讓專業(yè)人員沉浸在真實的客戶和內(nèi)部工作中，并高度強調(diào)高級協(xié)作行為，例如將復雜任務(wù)委派給AI、引導模型推理、驗證輸出以及隨時間推移優(yōu)化方法。

為成長與發(fā)展設(shè)定清晰期望

這項工作并非要改變?nèi)瞬殴芾硐到y(tǒng)或流程，而是要明確在AI賦能的世界中，優(yōu)秀的工作應是什么樣子。利用這項研究，畢馬威將有效的AI賦能工作的樣貌，轉(zhuǎn)化為實用的、針對角色和任務(wù)級別的期望，認識到高質(zhì)量的判斷力在不同職能、級別和交付情境中表現(xiàn)各異。例如，審計、稅務(wù)、咨詢和業(yè)務(wù)處理部門在截然不同的環(huán)境中運作，面臨不同的風險、法規(guī)和交付模式，AI需要支持這些現(xiàn)實。因此，"AI優(yōu)先"的期望按部門量身定制，無論是審計中的AI輔助風險評估、咨詢中更快的研究和情景規(guī)劃，還是稅務(wù)中更自動化、更高質(zhì)量的工作成果。

其意圖是為員工和領(lǐng)導者提供更清晰的信號，表明AI應如何支持日常決策、工作質(zhì)量和客戶成果。

AI正在迅速改變工作，領(lǐng)導者難以清晰闡述其組織將如何適應，這是可以理解的。通常，這是因為缺乏對"優(yōu)秀"標準的明確定義。理解為什么一些員工能成功運用AI——以及它如何讓他們做得更好——是幫助所有人學會使用這些工具的第一步。

關(guān)鍵詞：

尼克·霍爾曼（Nick Hallman）、扎克·科瓦萊斯基（Zach Kowaleski）、阿努·普瓦亞（Anu Puvvada）、杰米·J·施密特（Jaime J. Schmidt）|文

尼克·霍爾曼是德克薩斯大學奧斯汀分校舒爾金會計系副教授。扎克·科瓦萊斯基是德克薩斯大學奧斯汀分校舒爾金會計系助理教授。阿努·普瓦亞領(lǐng)導畢馬威工作室，她將前瞻性研究與風險投資構(gòu)建相結(jié)合，以識別新興機遇并推出可擴展的服務(wù)和科技賦能業(yè)務(wù)。杰米·J·施密特是德克薩斯大學奧斯汀分校麥庫姆斯商學院舒爾金會計系教授。

周強|編校

聯(lián)系方式

投稿、廣告、內(nèi)容和商務(wù)合作

newmedia@hbrchina.org