該事件此前在社交平臺引發(fā)討論，有用戶發(fā)現(xiàn)，無論用何種方式引導，MiniMax大模型都無法正常輸出這三個字，要么答非所問，要么胡言亂語。

根據(jù)界面快訊報道，MiniMax排查后確認，問題根源并非所謂“禁忌詞匯”，而是token機制。

“嘉祺”二字被分詞器合并為獨立token，但該token在后訓練數(shù)據(jù)中出現(xiàn)頻次極低，導致模型遺忘其生成能力。

Token是什么？簡單粗暴點說，1個Token大約等于1.5個漢字，你讓AI給你出東西，背后消耗的就是Token。

很多人誤以為字數(shù)越少，AI消耗的算力就越少，卻忽略了模型的底層邏輯。

這個翻譯過程，就是通過分詞器將內(nèi)容切成碎片，這些碎片就是token，再映射成數(shù)字ID供模型處理。

分詞器的核心是詞表，收錄著模型認識的所有token，由算法從海量語料中訓練生成，和人類的分詞邏輯完全不同。

一個token可能是一個漢字，也可能是多個常用漢字的組合，高頻組合會被整體收錄，低頻組合則會被拆分。

近期百度發(fā)布的Token Factory，從側(cè)面印證了token與成本的深度關(guān)聯(lián)。該技術(shù)可減少23%的token消耗。

這背后，是AI行業(yè)從“拼參數(shù)”向“拼成本”的轉(zhuǎn)型。

對企業(yè)而言，token就是AI世界的“硬通貨”，每一枚token的消耗，都對應(yīng)著GPU計算、顯存占用和電費開支。

這種成本壓力，不僅困擾著國內(nèi)企業(yè)，也影響著全球AI監(jiān)管走向。

5月5日，美國商務(wù)部下屬NIST與Google DeepMind、Microsoft、xAI簽署協(xié)議，對前沿AI模型開展部署前評估，重點關(guān)注國家安全相關(guān)風險。

4月7日Anthropic發(fā)布的Mythos模型，該模型具備自主網(wǎng)絡(luò)攻擊能力，證明前沿AI已能威脅關(guān)鍵基礎(chǔ)設(shè)施。

美國的收緊，本質(zhì)是擔心高算力、高token消耗的前沿模型，帶來不可控的安全風險。

與美國相反，歐盟在5月7日宣布簡化AI規(guī)則，明確高風險AI系統(tǒng)實施時序，降低企業(yè)合規(guī)成本。

此前歐盟嚴格的監(jiān)管的抬升了企業(yè)成本，使其在AI競爭中落后于中美，此次簡化是在守住底線的前提下，為創(chuàng)新松綁。

中美歐的監(jiān)管差異，背后是不同的競爭訴求，美國要守住前沿技術(shù)優(yōu)勢，歐盟要平衡合規(guī)與創(chuàng)新，中國則在推進商業(yè)化的同時，優(yōu)化技術(shù)降低成本。而這一切，都繞不開token這個核心環(huán)節(jié)。

這種差距曾是國產(chǎn)AI的短板，但如今已逐步縮小。

GPT早年就有一個知名故障token“solid gold Maggie cup”，因訓練語料中出現(xiàn)頻次極低，模型無法解釋其含義，輕則答非所問，重則邏輯混亂。

MiniMax和GPT的翻車案例，都指向同一個問題，token的質(zhì)量比數(shù)量更重要。

哪怕一個token被收錄進詞表，若訓練不充分，也會導致模型“犯蠢”，這背后是分詞器算法和訓練數(shù)據(jù)的雙重考驗。

當前主流的分詞方法有三種，BPE、WordPiece與Unigram。BPE反復合并高頻相鄰片段，GPT系列采用這種方法；WordPiece合并標準更嚴格，偏向?qū)I(yè)術(shù)語組合；Unigram則通過淘汰制精簡詞表，適配多語言場景。

不同方法的選擇，決定了token的切分效率，也影響著企業(yè)的成本控制。

百度Token Factory之所以能降本，核心就是優(yōu)化了分詞邏輯和緩存機制，減少了不必要的token消耗。

很多人追捧的“省token技巧”，大多忽略了模型的底層邏輯。

AI行業(yè)的競爭，早已不只是模型參數(shù)的比拼。

當中國AI周調(diào)用量突破4.69萬億token，token成本成為企業(yè)競爭力的關(guān)鍵。誰能在保證性能的同時，降低token消耗，誰就能在商業(yè)化競爭中占據(jù)主動。

美國的監(jiān)管收緊、歐盟的規(guī)則簡化、中國企業(yè)的技術(shù)優(yōu)化，本質(zhì)上都是圍繞AI的安全與成本展開。

token看似是一個微小的技術(shù)細節(jié)，卻串聯(lián)起AI技術(shù)、商業(yè)競爭和全球監(jiān)管的方方面面。

字少未必省token，就像看似簡單的技術(shù)細節(jié)，往往藏著最核心的競爭邏輯。