最近,AI研究員Aran Komatsuzaki發了一條推特:The non-English tax is real.
![]()
然后附上了一張圖。
他做了什么測試?
把Sutton的《Bitter Lesson》這篇文章,翻譯成多種語言,統計各大模型處理不同語言時,token消耗量相對英文的倍數。
英文基準是1.0x,數字越高,同樣內容花的錢越多。
![]()
現在最火的Anthropic(也就是Claude):中文1.65x,日文1.94x,韓文2.59x,阿拉伯文2.74x,印地語3.11x。
也就是說:一個印度用戶用Claude處理同等信息量,花的錢是美國用戶的三倍多。
OpenAI(ChatGPT)相對克制:中文1.15x,韓文1.40x,印地語1.37x。
貴,但沒貴到離譜。
國內模型呢?Qwen 0.85x,DeepSeek V4 0.87x,Kimi 0.81x——全部小于1,處理中文比處理英文還省。
![]()
同一套內容,美國模型和中國模型的計費結果,可以差出一倍。
為什么會有這個差距?
現在表面上,各家模型的定價是完全一樣的——每百萬token多少錢,全球統一,沒有任何顯性價格歧視,無論你在北京買和在紐約買token,單價都是相同的。
差距藏在分詞邏輯里。
大模型處理文本,靠的是tokenizer把文字切成碎片。
英文和這些模型的詞表高度匹配,一個詞往往就是一個token。
中文、阿拉伯文、hindi得切更多碎片才能表達同樣的意思。
價格沒變,但你買到的有效內容量,天然少一截。這不是bug,是tokenizer設計本身的結構性結果——誰訓練的模型,詞表就向誰的語言傾斜。
這筆錢,現在還不起眼。
現在大多數人把AI當搜索引擎用,偶爾問幾個問題,多花幾個token無所謂。
但再往后走——AI全面嵌入現有工作流程,token消耗會變成企業的常規運營成本,就像電費、水費、燃氣費,每個月都要付的那種。
到那時,哪個國家的企業能用更低的token成本跑AI,哪個國家就在這場產業浪潮里拿到了系統性的成本優勢。
這不是一筆小錢,是整個產業層面的競爭力差距。
說到這里,不得不和懂王的關稅比一下。
關稅是明牌博弈:每加一輪,全球媒體炸鍋,受影響品類全部曝光,各國政府表態,企業有反制,WTO有框架,至少大家都知道發生了什么,還能上桌談。
token稅完全不同。沒有公告,沒有談判,用戶只看到賬單上的token單價,壓根不知道自己消耗的token數量從一開始就比別人多。
鵝不叫,毛照拔。
掌握大模型的國家,等于掌握了一種新型征稅權——征的不是貨物,是算力使用權,而且沒有國界,只要你用這個模型,稅就一直在收。
這比懂王的關稅,不知道高明到哪里去了。
所以LLM的卡位,不只是面子問題。
當token消費變成水電一樣的基礎設施賬單,這個流量怎么計算,由誰制定規則,就直接決定了非英語國家企業的AI成本底線。
DeepSeek V4把中文token消耗壓到0.87x,Qwen壓到0.85x,是在這套定價結構里,給中文用戶留出來的成本空間。
今天寒武紀和芯原雙雙20cm漲停,表面是AI芯片國產化的邏輯。
![]()
但底下那層更具體:算力、模型、分詞,三件事缺一件,隱形稅就斷不了根。
關稅戰打的是貨物流動。token戰打的是信息流動的定價權。
后者更深,更久,也更難察覺。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.