Token好用才是硬道理。

作者｜王博

“今年各家token服務商的服務質(zhì)量，明顯比去年差了?！?/p>

這是一位算力服務商負責人的真實感受。

“比如一個請求，本來3秒、5秒就應該返回首token，現(xiàn)在可能30秒才返回，甚至更久。這類情況比例明顯提高?！边@位負責人告訴「甲子光年」，“行業(yè)里還存在超售現(xiàn)象，尤其是面對中小客戶時，有的算力服務商不太管自己實際能承載多少服務，結果就是客戶需求超過資源池上限，大家一起搶資源，沒搶到就只能排隊?！?/p>

去年，模型廠商、云廠商、MaaS平臺輪番降價，每百萬token的價格被不斷打低。那時，行業(yè)討論的核心問題是：誰能生產(chǎn)出更多、更便宜的token。

但今年問題變了。

一個普通ChatBot回答一次問題，可能只是一次調(diào)用；一個Agent完成一次任務，卻可能要拆解目標、讀取文件、調(diào)用工具、生成代碼、反復校驗，每一步都在消耗token。Token不再只是模型公司的計費單位，而開始變成企業(yè)智能系統(tǒng)的運行單位。

根據(jù)國家數(shù)據(jù)局發(fā)布的數(shù)據(jù)，2025年，全國日均token調(diào)用量從年初的超萬億增長到年末的100萬億；而到了2026年，全國日均token調(diào)用量已突破140萬億。

制圖：甲子光年智庫

Agent火起來之后，token開始“堵車”了。

這不是一個簡單的體驗問題。對一個在線業(yè)務來說，幾十秒甚至上百秒延遲，意味著用戶體驗下降、任務鏈路中斷，甚至業(yè)務不可用。

當token像車流一樣開始擁堵，AI Infra就不僅僅意味著要有更多道路，還需要一套更智能的導航系統(tǒng)。

它有點像地圖軟件：實時判斷路況，選擇更優(yōu)路徑；也有點像精品會員超市：先做嚴選，再把更可靠的服務擺到用戶面前；還有點像點評軟件：用持續(xù)評測降低信息不對稱，讓用戶知道哪家服務更穩(wěn)定、哪條路徑更適合。

「甲子光年」認為，Agent時代的競爭，不只是生產(chǎn)token，更需要關注誰能讓token更高質(zhì)量流通。

簡單來說就是，如何讓大模型調(diào)用更快、更穩(wěn)、更省錢？

1.Token不再只是便宜就夠了

Token服務的復雜性在于，它對很多用戶來說仍然是一個黑盒。

用戶有的時候并不知道背后到底是什么模型、什么服務商、什么算力，也不知道服務質(zhì)量是否縮水。一個套餐可能標著好看的名字，但具體用什么模型，穩(wěn)定性如何，是否經(jīng)過激進量化，外部很難判斷。

「甲子光年」了解到，有些算力服務商為了覆蓋成本，會做非常激進的量化。原版模型可能是精度更高的FP8，但實際部署時用了精度更低的INT4，這相當于把模型“壓縮”得更狠。價格看起來更便宜，但復雜任務上的效果可能下降。用戶看到的是同一個模型名字，卻很難判斷背后到底是不是同樣的服務質(zhì)量。

懂行的用戶會在采購前測試服務質(zhì)量、壓測能力和模型精度，但大部分用戶并不具備這樣的判斷能力。

這也是token服務市場開始變得復雜的原因。

在消費互聯(lián)網(wǎng)時代，用戶買一件商品，可以看品牌、配料表、產(chǎn)地、評價；但在AI服務里，token的“配料表”還沒有完全透明。用戶買到的是一個結果，卻很難知道這個結果是由哪條鏈路生產(chǎn)出來的。

所以，Agent時代的token問題，價格只是一方面，更重要的是“穩(wěn)定、透明、可調(diào)度”。

過去，行業(yè)里在AI Infra層面討論更多的是如何生產(chǎn)token。現(xiàn)在，新的問題開始浮現(xiàn)：當token被生產(chǎn)出來之后，誰來判斷它的質(zhì)量，誰來選擇它的路徑，誰來保證它穩(wěn)定抵達業(yè)務現(xiàn)場？

2.Token調(diào)度甚至要比生產(chǎn)更重要

如果把token看成AI時代的基礎流量，它從生產(chǎn)出來到進入業(yè)務，大致要經(jīng)過三層：生產(chǎn)層、中轉(zhuǎn)層、調(diào)度層。

第一層是生產(chǎn)層，解決token從哪里來。

這一層包括算力、模型、推理引擎、云廠商、MaaS服務商、智算中心等。它們關心的是：如何用更少的算力、更低的成本、更高的效率，生產(chǎn)更多token。

英偉達創(chuàng)始人、CEO黃仁勛在今年的GTC上就自稱“Token王（Token King）”，并表示：“我們的token成本是全球最低的?！卑凳居ミ_是當之無愧的“Token王”。

第二層是中轉(zhuǎn)層，解決token怎么被接入。

這一層更像模型API網(wǎng)關或模型超市。它降低了開發(fā)者調(diào)用不同模型的門檻，讓用戶可以通過統(tǒng)一入口調(diào)用不同模型和服務商。在海外備受關注的OpenRouter更接近這一層：它證明了當模型供給足夠豐富，模型和應用之間會自然長出統(tǒng)一接入層。

但統(tǒng)一接入解決的是“連得上”，還沒有完全解決“走哪條路”。

第三層是調(diào)度層，解決token應該怎么走。

如果把token請求看作車流，把模型API和算力服務看作道路，那么生產(chǎn)層負責造車和修路，中轉(zhuǎn)層負責把路連起來，調(diào)度層則要判斷：哪條路現(xiàn)在不堵，哪條路更便宜，哪條路更穩(wěn)定，哪條路更適合當前任務，哪條路出問題后應該怎么繞行。

這不是一個簡單的地圖軟件邏輯，而更像是幾種能力的組合：既要像地圖一樣看見實時路況，也要像嚴選平臺一樣篩選供給，還要像點評系統(tǒng)一樣持續(xù)積累服務質(zhì)量數(shù)據(jù)。

在調(diào)度層，清華系創(chuàng)企、人工智能系統(tǒng)服務商清程極智一直在致力于“讓token更高質(zhì)量流通”，他們的核心產(chǎn)品之一就是token路由調(diào)度平臺AI Ping。

AI Ping并不是突然出現(xiàn)的新產(chǎn)品。早在2025年9月，清華大學與中國軟件評測中心在GOSIM2025發(fā)布《2025大模型服務性能排行榜》時，AI Ping就已經(jīng)作為評測工具和數(shù)據(jù)展示平臺出現(xiàn)，覆蓋20多家廠商的230多項模型服務，并支持7×24小時性能監(jiān)測。

2026年初，清程極智將AI Ping進一步推到臺前，并正式將其定義為“一站式AI評測與API服務智能路由平臺”，覆蓋“評測—接入—路由—優(yōu)化”環(huán)節(jié)。

“我們認為，在大模型應用場景中，最關鍵的AI Infra的核心需求是智能路由。”清程極智CEO湯雄超說，“通過智能路由，我們可以為海量的業(yè)務請求找到最好、最快、最穩(wěn)定、最便宜的Token服務?！?/p>

AI Ping不是簡單把請求轉(zhuǎn)發(fā)出去，而是基于評測和路由，做實時路徑規(guī)劃。

清程極智聯(lián)合創(chuàng)始人、產(chǎn)品副總裁師天麾告訴「甲子光年」，上游服務商的數(shù)量和水平?jīng)Q定平臺上限，路由能力決定平臺能多大程度逼近這個上限。服務商越多，理論上調(diào)度空間越大；但只有選擇多還不夠，關鍵是知道每一個選擇在當前時刻的真實狀態(tài)。

AI Ping做的第一件事是，接入更多服務商。

國內(nèi)比較知名、比較大的token服務商，清程極智基本希望應接盡接。選擇越多，調(diào)度上限越高。目前，AI Ping已接入國內(nèi)29個token服務商。

圖片來源：AI Ping

第二件事是，持續(xù)評測。

AI Ping 7×24小時不間斷做評測，既有固定測試請求，也把真實業(yè)務請求納入評測體系。評測不是為了做榜單，而是為了知道每條“路”此刻的真實路況。

“測試是調(diào)度的基石，測得準才能調(diào)度得好?！睅熖祺庹f。

第三件事是，動態(tài)路由。

AI Ping的路由邏輯，并不是簡單把請求導向價格最低的一家，而是在價格、延遲、吞吐、可靠性、模型效果、Cache命中率等多個指標之間做動態(tài)權衡。

普通API中轉(zhuǎn)解決的是連接問題，而智能路由解決的是信任問題。

這背后其實存在一種價值判斷。比如，內(nèi)部知識問答可能更看重成本和響應速度，代碼生成可能更看重模型能力和上下文穩(wěn)定性，在線客服更看重低延遲和高可用，金融、能源等關鍵場景則更看重可靠性和結果一致性。不同任務需要的不是同一種token，而是不同質(zhì)量、不同成本、不同穩(wěn)定性的Token服務。

師天麾舉了一個例子：很多企業(yè)采購模型服務時只比較單價，但真實成本不只由單價決定。Cache命中率就是一個容易被忽視的變量。一旦命中Cache，成本可能只有原來的10%或20%；如果命中不了，即便單價更低，最終總成本也可能更高。

但成本只是其中一環(huán)。更重要的是，當某條路徑延遲上升、可靠性下降，或者某個服務商出現(xiàn)擁堵時，AI Ping可以根據(jù)實時評測結果，把請求切換到更高性能、更高可靠性的模型和服務商上。

第四件事是，異常兜底。

當某個服務商長時間不返回、輸出中斷或出現(xiàn)異常時，AI Ping可以自動切換服務節(jié)點或服務商，而不是讓用戶自己重試。對企業(yè)來說，這種兜底能力的價值，往往高于簡單的價格差。

以上這四個方面就是清程極智AI Ping區(qū)別于普通API中轉(zhuǎn)站的地方，他們解決了“每一次token請求，最應該流向哪里”這樣一個核心問題。

而這也是用戶更期待的能力。

3.Token好用才是硬道理

調(diào)度層為什么會變得重要？因為企業(yè)真正買的不是模型，而是結果。

在C端場景里，用戶可能會因為品牌認知使用DeepSeek、豆包或Kimi。但在B端或?qū)I(yè)開發(fā)者領域，邏輯更直接：誰在業(yè)務和項目里效果最好，就用誰；誰更穩(wěn)定、更便宜、更快，就用誰。

「甲子光年」調(diào)研發(fā)現(xiàn)，很多企業(yè)選模型，不會因為誰有名氣就用誰，而是會把相關模型都試一遍，誰在業(yè)務上效果最好，就用誰。

原因也很簡單：模型接口足夠標準，遷移成本相對低。一個業(yè)務原本用模型A，新出了模型B，測試發(fā)現(xiàn)更好用，只要適配沒有大問題，很快就可以切過去。

這意味著，模型品牌本身不是絕對護城河。企業(yè)真正買的是效果、穩(wěn)定、成本和速度。

但模型越多，選擇成本反而越高。企業(yè)不只是要選模型，還要選服務商、部署方式、價格策略、穩(wěn)定性保障和合規(guī)路徑。這對很多企業(yè)，尤其是一些傳統(tǒng)企業(yè)來說，不是一件容易的事情。

這就是AI Ping的企業(yè)價值：為企業(yè)用戶提供更多選擇權，降低試錯成本和穩(wěn)定性風險。

更進一步，這套調(diào)度能力還有可能改變國產(chǎn)算力的使用方式。

過去，國產(chǎn)算力推廣常常遇到一個現(xiàn)實問題：地方政府和國產(chǎn)化智算中心希望企業(yè)使用國產(chǎn)算力，但實際上，企業(yè)不會因為“國產(chǎn)”兩個字就遷移業(yè)務。

雖然國產(chǎn)芯片廠商在不斷縮小和英偉達、AMD之間的差距，但國產(chǎn)算力要被真正用起來，不能只靠被推薦、被要求、被采購，而是要進入真實調(diào)用鏈，在一次次token請求中證明自己可用、好用、劃算。

智能路由提供了一種更柔性的路徑。

它不要求企業(yè)一次性把業(yè)務全部遷移到國產(chǎn)算力上，而是把適合國產(chǎn)算力承載的任務、模型和token請求，先調(diào)度過去。如果這些請求在真實業(yè)務中跑通，國產(chǎn)算力的價值就不再只是政策口號，而會變成企業(yè)能感知到的成本、效率和穩(wěn)定性收益。

不管黑貓、白貓，能捉老鼠的就是好貓。

由此，我們可以進一步理解清程極智三款核心產(chǎn)品之間的關系：赤兔解決的是推理部署和Token生產(chǎn)效率問題，AI Ping解決的是模型服務評測與智能路由問題，而八卦爐則更像一套面向應用落地的智能軟件棧。

八卦爐產(chǎn)品架構圖，圖片來源：清程極智

八卦爐并不只是模型訓練工具，而是覆蓋業(yè)務應用、Agent服務、AI Model Service、算力資源編排和底層算力適配的一套完整體系。它一方面向上承接大模型訓練、工業(yè)控制、數(shù)字人、AI圖像視頻、在線教育、AI4S、AI Coding、醫(yī)療健康等業(yè)務場景；另一方面向下連接推理、訓練/微調(diào)、模型量化、服務部署、數(shù)據(jù)準備、模型評測等基礎能力，并通過分布式計算引擎、算力資源編排器和多元算力底座，為應用提供支撐。

這意味著，清程極智并不是只在某一個環(huán)節(jié)上討論token。赤兔讓token更高效地被生產(chǎn)出來，八卦爐讓token能夠進入具體應用和業(yè)務流程，而AI Ping則站在兩者之間，回答了一個更關鍵的問題：當模型、服務商、算力和應用都變得足夠復雜之后，每一次token請求，應該流向哪里。

也正是在這個意義上，AI Ping更像是清程極智整個AI Infra體系里的調(diào)度中樞：向下理解不同算力和模型服務的真實狀態(tài)，向上理解不同應用場景對成本、速度、效果和可靠性的不同要求。

Agent時代，光生產(chǎn)出來token還不夠，還要把token送到業(yè)務現(xiàn)場。

生產(chǎn)能力決定token供給的底座，應用能力決定token最終釋放價值的場景，而調(diào)度能力決定token能否在兩者之間高質(zhì)量流動。

這不容忽視。

（封面圖來源：AI生成）