四川
該事件此前在社交平臺引發討論，有用戶發現，無論用何種方式引導，MiniMax大模型都無法正常輸出這三個字，要么答非所問，要么胡言亂語。
根據界面快訊報道，MiniMax排查后確認，問題根源并非所謂“禁忌詞匯”，而是token機制。
“嘉祺”二字被分詞器合并為獨立token，但該token在后訓練數據中出現頻次極低，導致模型遺忘其生成能力。
Token是什么？簡單粗暴點說，1個Token大約等于1.5個漢字，你讓AI給你出東西，背后消耗的就是Token。
很多人誤以為字數越少，AI消耗的算力就越少，卻忽略了模型的底層邏輯。
這個翻譯過程，就是通過分詞器將內容切成碎片，這些碎片就是token，再映射成數字ID供模型處理。
分詞器的核心是詞表，收錄著模型認識的所有token，由算法從海量語料中訓練生成，和人類的分詞邏輯完全不同。
一個token可能是一個漢字，也可能是多個常用漢字的組合，高頻組合會被整體收錄，低頻組合則會被拆分。
近期百度發布的Token Factory，從側面印證了token與成本的深度關聯。該技術可減少23%的token消耗。
這背后，是AI行業從“拼參數”向“拼成本”的轉型。
對企業而言，token就是AI世界的“硬通貨”，每一枚token的消耗，都對應著GPU計算、顯存占用和電費開支。
這種成本壓力，不僅困擾著國內企業，也影響著全球AI監管走向。
5月5日，美國商務部下屬NIST與Google DeepMind、Microsoft、xAI簽署協議，對前沿AI模型開展部署前評估，重點關注國家安全相關風險。
4月7日Anthropic發布的Mythos模型，該模型具備自主網絡攻擊能力，證明前沿AI已能威脅關鍵基礎設施。
美國的收緊，本質是擔心高算力、高token消耗的前沿模型，帶來不可控的安全風險。
與美國相反，歐盟在5月7日宣布簡化AI規則，明確高風險AI系統實施時序，降低企業合規成本。
此前歐盟嚴格的監管的抬升了企業成本，使其在AI競爭中落后于中美，此次簡化是在守住底線的前提下，為創新松綁。
中美歐的監管差異，背后是不同的競爭訴求，美國要守住前沿技術優勢，歐盟要平衡合規與創新，中國則在推進商業化的同時，優化技術降低成本。而這一切，都繞不開token這個核心環節。
這種差距曾是國產AI的短板，但如今已逐步縮小。
GPT早年就有一個知名故障token“solid gold Maggie cup”，因訓練語料中出現頻次極低，模型無法解釋其含義，輕則答非所問，重則邏輯混亂。
MiniMax和GPT的翻車案例，都指向同一個問題，token的質量比數量更重要。
哪怕一個token被收錄進詞表，若訓練不充分，也會導致模型“犯蠢”，這背后是分詞器算法和訓練數據的雙重考驗。
當前主流的分詞方法有三種，BPE、WordPiece與Unigram。BPE反復合并高頻相鄰片段，GPT系列采用這種方法；WordPiece合并標準更嚴格，偏向專業術語組合；Unigram則通過淘汰制精簡詞表，適配多語言場景。
不同方法的選擇，決定了token的切分效率，也影響著企業的成本控制。
百度Token Factory之所以能降本，核心就是優化了分詞邏輯和緩存機制，減少了不必要的token消耗。
很多人追捧的“省token技巧”，大多忽略了模型的底層邏輯。
AI行業的競爭，早已不只是模型參數的比拼。
當中國AI周調用量突破4.69萬億token，token成本成為企業競爭力的關鍵。誰能在保證性能的同時，降低token消耗，誰就能在商業化競爭中占據主動。
美國的監管收緊、歐盟的規則簡化、中國企業的技術優化，本質上都是圍繞AI的安全與成本展開。
token看似是一個微小的技術細節，卻串聯起AI技術、商業競爭和全球監管的方方面面。
字少未必省token，就像看似簡單的技術細節，往往藏著最核心的競爭邏輯。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
