文/中國(guó)工程院院士、阿里云創(chuàng)始人、之江實(shí)驗(yàn)室主任王堅(jiān)

詞元是數(shù)據(jù)要素市場(chǎng)形成的重要標(biāo)志，我國(guó)詞元調(diào)用量在兩年間實(shí)現(xiàn)超千倍的爆發(fā)式增長(zhǎng)，不僅使人工智能應(yīng)用迎來(lái)質(zhì)變，更全面滲透生活、生產(chǎn)、產(chǎn)業(yè)與商業(yè)各環(huán)節(jié)，深刻重塑智能時(shí)代的運(yùn)行規(guī)則。

隨著人工智能核心概念Token被正式定名“詞元”，一組數(shù)據(jù)備受關(guān)注：2024年年初我國(guó)日均詞元調(diào)用量為1000億，2025年底躍升至100萬(wàn)億，2026年3月已突破140萬(wàn)億，兩年間增長(zhǎng)超千倍。從對(duì)話交互到?jīng)Q策執(zhí)行，人工智能應(yīng)用場(chǎng)景持續(xù)深化，我國(guó)AI產(chǎn)業(yè)競(jìng)爭(zhēng)力顯著增強(qiáng)，數(shù)據(jù)供給大幅提升，數(shù)據(jù)要素價(jià)值不斷釋放。詞元作為大模型理解、處理、生成信息的最小單元，貫穿各類智能應(yīng)用之中，讓數(shù)據(jù)具備可計(jì)量、可定價(jià)、可交易的屬性，正成為丈量智能經(jīng)濟(jì)、量化數(shù)據(jù)價(jià)值的全新標(biāo)尺，深刻影響著日常生活、產(chǎn)業(yè)變革與商業(yè)未來(lái)。

詞元的出現(xiàn)與重要價(jià)值

Token，在人工智能領(lǐng)域被正式命名為詞元，是大模型理解、處理、生成信息的最小單元，早已藏在每一次AI交互、每一項(xiàng)智能應(yīng)用運(yùn)行的背后。從日常智能對(duì)話、內(nèi)容生成，到產(chǎn)業(yè)端的智能研發(fā)、數(shù)字決策，詞元如同智能時(shí)代的通用計(jì)量單元，串聯(lián)起技術(shù)、產(chǎn)業(yè)與市場(chǎng)，讓數(shù)據(jù)在智能時(shí)代具備了可計(jì)量、可定價(jià)、可交易的特征，成為丈量智能經(jīng)濟(jì)、量化數(shù)據(jù)價(jià)值的全新標(biāo)尺。

長(zhǎng)期以來(lái)，我們講信息、講數(shù)據(jù)，卻始終沒(méi)有把信息和數(shù)據(jù)真正區(qū)分開(kāi)。無(wú)論是比特還是字節(jié)，都是信息時(shí)代的良好度量，但一直被用來(lái)度量數(shù)據(jù)，缺少專門面向數(shù)據(jù)的、符合智能時(shí)代特征的計(jì)量方式。詞元的出現(xiàn)，正是區(qū)分?jǐn)?shù)據(jù)與信息的重要分水嶺。

傳統(tǒng)的字節(jié)以固定長(zhǎng)度表達(dá)文字，一個(gè)漢字對(duì)應(yīng)兩個(gè)字節(jié)，比如“我喜歡你”4個(gè)漢字就是8個(gè)字節(jié)，這是物理層面的簡(jiǎn)單記錄；而詞元是按照人工智能理解世界的方式，把語(yǔ)句拆分成最小處理單元，它不完全遵循人類直覺(jué)的字詞劃分，可能將“我”和“喜歡”各作為一個(gè)單元、“你”作為一個(gè)單元，以更貼合模型處理邏輯的方式完成語(yǔ)義單元切分。從本質(zhì)上說(shuō)，詞元首先是數(shù)據(jù)的計(jì)量單位，就像日常生活中的“斤兩”，不同內(nèi)容、不同價(jià)值的詞元，對(duì)應(yīng)著不同的成本與價(jià)值，讓數(shù)據(jù)第一次有了清晰可度量的基礎(chǔ)。

詞元更讓數(shù)據(jù)價(jià)值實(shí)現(xiàn)了升華。2017年隨Transformer架構(gòu)進(jìn)入人工智能視野后，詞元讓數(shù)據(jù)擁有了自己的“身份”與“人格”—任何原始數(shù)據(jù)不經(jīng)過(guò)詞元化（Tokenization），就無(wú)法進(jìn)入人工智能模型、無(wú)法被智能系統(tǒng)使用。數(shù)據(jù)要真正產(chǎn)生價(jià)值，必須走完三步：第一，把人工智能模型不能直接使用的原始數(shù)據(jù)轉(zhuǎn)化為詞元；第二，在模型中建立詞元之間的關(guān)聯(lián)，把零散知識(shí)組織成體系；第三，根據(jù)應(yīng)用需求，模型再以詞元為基本單元轉(zhuǎn)化為可輸出、可應(yīng)用的內(nèi)容。這一過(guò)程高度依賴技術(shù)與算力，而詞元能夠綜合反映數(shù)據(jù)價(jià)值、模型優(yōu)劣與算力強(qiáng)度，是目前唯一能把三者統(tǒng)一度量的核心單元。

更為關(guān)鍵的是，詞元是數(shù)據(jù)要素市場(chǎng)形成的重要標(biāo)志。過(guò)去數(shù)據(jù)交易市場(chǎng)難以真正落地，核心原因就是數(shù)據(jù)價(jià)值無(wú)法統(tǒng)一計(jì)量、認(rèn)定成本過(guò)高，甚至超過(guò)數(shù)據(jù)本身價(jià)值。詞元作為統(tǒng)一的計(jì)量與計(jì)價(jià)單元，讓數(shù)據(jù)在流通中可以自動(dòng)結(jié)算，大幅降低產(chǎn)業(yè)鏈成本、提升流通效率，讓磁盤上的比特真正變成可流動(dòng)、可交易、可增值的數(shù)據(jù)要素。就像菜市場(chǎng)離不開(kāi)“斤兩”，詞元讓數(shù)據(jù)要素市場(chǎng)具備了運(yùn)行的基礎(chǔ)，標(biāo)志著數(shù)據(jù)要素市場(chǎng)從理念走向現(xiàn)實(shí)。

詞元的核心運(yùn)行邏輯

詞元的運(yùn)行與消耗，遵循人工智能時(shí)代的底層規(guī)律，清晰體現(xiàn)出算力、數(shù)據(jù)與模型三者協(xié)同的內(nèi)在關(guān)系。

詞元是人工智能模型操作的最小單元。模型的思維鏈構(gòu)建、推理過(guò)程推演、內(nèi)容生成輸出，所有運(yùn)算操作的最小對(duì)象都是詞元，無(wú)論輸入內(nèi)容長(zhǎng)短、推理邏輯深淺，系統(tǒng)最終都要拆解為詞元進(jìn)行處理，這是詞元運(yùn)行的基礎(chǔ)邏輯。

詞元消耗由兩大核心因素決定：一是內(nèi)容體量，輸入與生成的信息越多，需要處理的詞元數(shù)量就越多，算力消耗也隨之增加；二是推理復(fù)雜度，模型思考深度、邏輯鏈條長(zhǎng)度、決策難度越高，處理單個(gè)詞元所需的算力與時(shí)間就越多，對(duì)應(yīng)成本也越高。這也解釋了不同場(chǎng)景、不同模型的詞元成本存在差異，本質(zhì)是處理邏輯與技術(shù)路徑的不同。

詞元是人工智能時(shí)代的核心“標(biāo)尺”。軟件時(shí)代，人們習(xí)慣用代碼行數(shù)衡量一款軟件的價(jià)值與復(fù)雜度；而進(jìn)入智能時(shí)代，單純強(qiáng)調(diào)數(shù)據(jù)規(guī)模與算力大小，并不能真實(shí)反映人工智能的發(fā)展與應(yīng)用水平。詞元能夠綜合反映數(shù)據(jù)價(jià)值、模型優(yōu)劣與算力強(qiáng)度，把三者統(tǒng)一在一個(gè)計(jì)量單元里，這是其他指標(biāo)都無(wú)法做到的。詞元的消費(fèi)量、流通量與使用效率，就像社會(huì)用電量能夠反映電氣化程度一樣，是衡量人工智能產(chǎn)業(yè)成熟度直觀、準(zhǔn)確的指標(biāo)。

以“小龍蝦”（OpenClaw）為代表的智能體，讓人工智能應(yīng)用從碎片走向完整，也讓詞元的應(yīng)用邏輯實(shí)現(xiàn)關(guān)鍵突破。過(guò)去人工智能應(yīng)用分散割裂，人們需要為不同模型安裝不同APP，使用方式與人工智能的技術(shù)特性并不匹配；而“小龍蝦”這類智能體，徹底顛覆了傳統(tǒng)APP模式，打通了從詞元、基礎(chǔ)模型到實(shí)際應(yīng)用的完整鏈條，形成“感知—決策—執(zhí)行”的閉環(huán)能力，讓人工智能真正找到了與自身技術(shù)相適配的應(yīng)用形態(tài)，詞元的價(jià)值也因此得到充分釋放。

詞元爆發(fā)式增長(zhǎng)意味著什么

我國(guó)詞元調(diào)用量在兩年間實(shí)現(xiàn)超千倍的爆發(fā)式增長(zhǎng)，這并非簡(jiǎn)單的數(shù)字攀升，而是我國(guó)人工智能應(yīng)用迎來(lái)質(zhì)變、普及進(jìn)入重要拐點(diǎn)、產(chǎn)業(yè)基礎(chǔ)持續(xù)夯實(shí)、數(shù)據(jù)要素市場(chǎng)全面釋放的集中體現(xiàn)。

第一，這標(biāo)志著人工智能應(yīng)用實(shí)現(xiàn)了質(zhì)的轉(zhuǎn)型。詞元消耗量大幅提升，說(shuō)明AI應(yīng)用已從“點(diǎn)一盞電燈”的初級(jí)階段，邁入“用上冰箱、洗衣機(jī)”的發(fā)展階段，從簡(jiǎn)單對(duì)話拓展至自主執(zhí)行、智能決策，使用方式與應(yīng)用場(chǎng)景都發(fā)生了根本性改變。

第二，這意味著人工智能普及迎來(lái)重要拐點(diǎn)。過(guò)去人們只有打開(kāi)手機(jī)APP、主動(dòng)輸入問(wèn)題時(shí)才會(huì)使用AI，而以“小龍蝦”為代表的智能體可以7×24小時(shí)自主運(yùn)行，使用人群從技術(shù)從業(yè)者擴(kuò)展到全民，使用時(shí)長(zhǎng)、場(chǎng)景、頻次全面提升，人工智能正在變成像水電一樣的基礎(chǔ)設(shè)施。

第三，這反映出單位詞元成本持續(xù)下降，產(chǎn)業(yè)基礎(chǔ)更加堅(jiān)實(shí)。詞元大規(guī)模應(yīng)用的前提是單位成本可控可降，我國(guó)人工智能技術(shù)、算力技術(shù)持續(xù)突破，讓單位詞元處理成本大幅降低，如同電價(jià)下降推動(dòng)家電普及，詞元成本下降為智能經(jīng)濟(jì)全面滲透提供了堅(jiān)實(shí)保障。

第四，這印證了數(shù)據(jù)要素市場(chǎng)進(jìn)入實(shí)質(zhì)啟動(dòng)階段。詞元的爆發(fā)式流通與消耗，證明數(shù)據(jù)已成為真正流動(dòng)的生產(chǎn)要素，數(shù)據(jù)的生產(chǎn)、加工、交易、使用形成完整閉環(huán)，過(guò)去難以推進(jìn)的數(shù)據(jù)交易、數(shù)據(jù)流通難題，在詞元體系下取得突破性進(jìn)展。

與此同時(shí)，詞元也讓產(chǎn)業(yè)競(jìng)爭(zhēng)焦點(diǎn)全面轉(zhuǎn)向生態(tài)構(gòu)建。相關(guān)行業(yè)巨頭紛紛布局詞元賽道，成立專門事業(yè)部、推出專用引擎與平臺(tái)，標(biāo)志著詞元已從技術(shù)概念升級(jí)為產(chǎn)業(yè)價(jià)值錨點(diǎn)，人工智能競(jìng)爭(zhēng)從模型競(jìng)速，轉(zhuǎn)向詞元計(jì)量、定價(jià)、流通、應(yīng)用的全生態(tài)競(jìng)爭(zhēng)。

詞元對(duì)生產(chǎn)生活的全面賦能

詞元不僅是技術(shù)層面的基礎(chǔ)單元，更全面滲透生活、生產(chǎn)、產(chǎn)業(yè)與商業(yè)各環(huán)節(jié)，深刻重塑智能時(shí)代的運(yùn)行規(guī)則。

對(duì)百姓日常生活而言，詞元本身是無(wú)感的底層技術(shù)，真正改變生活的是基于詞元的各類智能應(yīng)用。就像電本身不被感知，卻支撐起照明、家電、娛樂(lè)等全部生活場(chǎng)景，詞元為智能體、智慧服務(wù)、自動(dòng)化工具提供核心支撐，讓公眾享受7×24小時(shí)智能服務(wù)、個(gè)性化內(nèi)容、便捷化辦事體驗(yàn)。從付費(fèi)邏輯來(lái)看，詞元是AI服務(wù)的基礎(chǔ)收費(fèi)單元，如同電費(fèi)、水費(fèi)一樣清晰透明，而各類智能體大幅降低AI使用門檻，讓新手都能輕松上手，推動(dòng)數(shù)字普惠，讓每個(gè)人都能跟上智能時(shí)代步伐。

對(duì)企業(yè)生產(chǎn)運(yùn)營(yíng)而言，詞元的意義遠(yuǎn)不止收費(fèi)方式，它構(gòu)建起全鏈條數(shù)據(jù)流通體系。企業(yè)可清晰追蹤詞元從原始數(shù)據(jù)流、模型訓(xùn)練、客戶應(yīng)用到合作伙伴協(xié)同的全流程，實(shí)現(xiàn)數(shù)據(jù)流通可計(jì)量、可追溯、可自動(dòng)結(jié)算，大幅提升數(shù)據(jù)使用效率與協(xié)作效率。同時(shí)，詞元推動(dòng)企業(yè)生產(chǎn)組織方式變革，用智能體替代大量重復(fù)性、輔助性工作，重新定義工作內(nèi)容與方式，讓員工聚焦創(chuàng)新、決策等高價(jià)值環(huán)節(jié)，也為中小企業(yè)、創(chuàng)新型企業(yè)打破傳統(tǒng)要素壁壘提供了可能。

對(duì)產(chǎn)業(yè)升級(jí)而言，詞元推動(dòng)人工智能從工具革命升級(jí)為“革命的工具”，其產(chǎn)業(yè)影響遠(yuǎn)超電商、互聯(lián)網(wǎng)等傳統(tǒng)變革，堪稱電力發(fā)明以來(lái)最重大的產(chǎn)業(yè)變革。詞元讓數(shù)據(jù)、算法、算力實(shí)現(xiàn)清晰的變現(xiàn)路徑，重構(gòu)產(chǎn)業(yè)成本結(jié)構(gòu)、商業(yè)模式與協(xié)作方式，推動(dòng)傳統(tǒng)產(chǎn)業(yè)與智能技術(shù)深度融合。應(yīng)用形態(tài)從分散的APP模式走向一體化智能整合，數(shù)據(jù)與服務(wù)更加高效統(tǒng)一，市場(chǎng)更趨一體化，為中小企業(yè)、創(chuàng)新型企業(yè)帶來(lái)前所未有的發(fā)展機(jī)遇。

對(duì)商業(yè)邏輯而言，詞元是人工智能商業(yè)價(jià)值的核心。早期軟件產(chǎn)業(yè)長(zhǎng)期依附硬件、找不到盈利模式，直到微軟率先實(shí)現(xiàn)軟件商業(yè)化定價(jià)，才真正推動(dòng)軟件產(chǎn)業(yè)走向成熟。今天的人工智能產(chǎn)業(yè)正經(jīng)歷相似轉(zhuǎn)型，詞元正是激活商業(yè)價(jià)值的關(guān)鍵所在。很多生成式AI項(xiàng)目“叫好不叫座”，根本原因在于詞元消耗成本遠(yuǎn)高于用戶獲得的實(shí)際價(jià)值；而智能體能夠創(chuàng)造增量?jī)r(jià)值、解決真實(shí)問(wèn)題，即便詞元消耗較大，依然被市場(chǎng)接受。詞元讓人工智能的投入產(chǎn)出可精準(zhǔn)計(jì)量，推動(dòng)商業(yè)模型走向可持續(xù)。從全球視角看，詞元為數(shù)據(jù)與算力出海提供了天然的結(jié)算方式，讓人工智能服務(wù)突破國(guó)界，推動(dòng)數(shù)字貿(mào)易、知識(shí)貿(mào)易打開(kāi)新空間。

詞元發(fā)展的安全挑戰(zhàn)與應(yīng)對(duì)路徑

詞元在驅(qū)動(dòng)智能經(jīng)濟(jì)快速發(fā)展的同時(shí)，也面臨算力成本、數(shù)據(jù)安全、應(yīng)用規(guī)范等多重現(xiàn)實(shí)挑戰(zhàn)，必須堅(jiān)持在發(fā)展中規(guī)范、在規(guī)范中發(fā)展，做到發(fā)展與安全并重。

在成本層面，高消耗類AI應(yīng)用普遍面臨商業(yè)可持續(xù)性壓力。OpenAI關(guān)停Sora、部分AI視頻生成服務(wù)調(diào)整收費(fèi)策略，其核心原因都是詞元消耗巨大、成本與價(jià)值不匹配。這就需要行業(yè)像從白熾燈升級(jí)到節(jié)能燈一樣，持續(xù)優(yōu)化模型效率、降低無(wú)效詞元消耗，在提升應(yīng)用價(jià)值的同時(shí)嚴(yán)控成本，讓人工智能商業(yè)邏輯更加成立。

在安全層面，詞元與智能體的廣泛普及，帶來(lái)比傳統(tǒng)APP、傳統(tǒng)網(wǎng)絡(luò)服務(wù)更大的安全風(fēng)險(xiǎn)。數(shù)據(jù)流通、智能執(zhí)行、跨境服務(wù)等環(huán)節(jié)都可能出現(xiàn)數(shù)據(jù)泄露、違規(guī)操作、濫用誤用等問(wèn)題，安全是產(chǎn)業(yè)行穩(wěn)致遠(yuǎn)的底線。但如同信用卡、手機(jī)支付從飽受安全質(zhì)疑到逐步成熟可靠一樣，詞元生態(tài)的安全能力也會(huì)在技術(shù)迭代、實(shí)踐檢驗(yàn)中不斷完善。

應(yīng)對(duì)安全挑戰(zhàn)，需要多方協(xié)同發(fā)力。國(guó)家層面出臺(tái)安全使用指南，劃定發(fā)展底線與規(guī)則；地方政府出臺(tái)扶持政策，規(guī)范引導(dǎo)智能體生態(tài)健康發(fā)展；技術(shù)團(tuán)隊(duì)主動(dòng)搭建安全框架，強(qiáng)化技術(shù)防護(hù)能力；全行業(yè)在發(fā)展中發(fā)現(xiàn)問(wèn)題、解決問(wèn)題，推動(dòng)技術(shù)在迭代中完善。詞元的發(fā)展，必將催生全新的安全產(chǎn)業(yè)，形成“發(fā)展促安全、安全保發(fā)展”的良性循環(huán)。

詞元是智能時(shí)代的基礎(chǔ)單元，是數(shù)據(jù)要素市場(chǎng)的核心基石。面向未來(lái)，我們應(yīng)深刻理解詞元的內(nèi)涵與價(jià)值，尊重技術(shù)發(fā)展規(guī)律，把握智能經(jīng)濟(jì)變革機(jī)遇，以詞元為抓手激活數(shù)據(jù)資源、釋放智能紅利，讓詞元真正成為推動(dòng)智能經(jīng)濟(jì)高質(zhì)量發(fā)展、開(kāi)啟數(shù)據(jù)要素新時(shí)代的核心力量。

來(lái)源 | 《學(xué)習(xí)時(shí)報(bào)》2026年6月3日第6版

編輯 | 孫爽

審核丨秦婷

責(zé)編 | 蘭銀帆

Review of Past Articles -

01

02