你可能沒(méi)有意識(shí)到，但時(shí)間序列預(yù)測(cè)早已滲透到日常生活的方方面面。

打開(kāi)手機(jī)看天氣預(yù)報(bào)，背后是氣象序列的預(yù)測(cè)；雙十一零點(diǎn)搶購(gòu)不卡頓，靠的是提前預(yù)測(cè)流量峰值來(lái)做服務(wù)器擴(kuò)容；基金 App 里的收益走勢(shì)圖，背后也離不開(kāi)金融時(shí)間序列的建模。簡(jiǎn)單來(lái)說(shuō)，時(shí)間序列預(yù)測(cè)就是讓機(jī)器根據(jù)過(guò)去的數(shù)據(jù)，判斷接下來(lái)會(huì)發(fā)生什么。從能源調(diào)度到風(fēng)險(xiǎn)預(yù)警，幾乎所有需要"提前做準(zhǔn)備"的場(chǎng)景都離不開(kāi)它，是 AI 落地最廣、最剛需的能力之一。

近些年，時(shí)序預(yù)測(cè)的模型從 MLP 和 Transformer 兩大架構(gòu)的龍爭(zhēng)虎斗，到 Chronos、TimesFM、TiRex 等時(shí)序大模型的異軍突起，各類(lèi)深度學(xué)習(xí)模型架構(gòu)與基模不斷涌現(xiàn)。

模型越來(lái)越多，但一個(gè)尷尬的問(wèn)題也隨之浮出水面：我們到底該怎么判斷，哪個(gè)模型真的更強(qiáng)？

做過(guò)時(shí)序預(yù)測(cè)的人大概都有過(guò)類(lèi)似的經(jīng)歷。你在 ETT、Weather、Traffic 這些經(jīng)典數(shù)據(jù)集上跑出了不錯(cuò)的數(shù)字，信心滿(mǎn)滿(mǎn)地準(zhǔn)備上線。結(jié)果一換到自己的業(yè)務(wù)數(shù)據(jù)，指標(biāo)大幅跳水。你以為是代碼的問(wèn)題，排查一圈之后發(fā)現(xiàn)——代碼沒(méi)問(wèn)題，問(wèn)題出在評(píng)測(cè)本身。

這不是個(gè)例，而是整個(gè)時(shí)序預(yù)測(cè)領(lǐng)域長(zhǎng)期面對(duì)的一個(gè)系統(tǒng)性困境。

考卷出了問(wèn)題，分?jǐn)?shù)還能信嗎？

如果把模型評(píng)測(cè)比作考試，那現(xiàn)在時(shí)間序列領(lǐng)域的這張"考卷"，至少有四個(gè)不及格的地方。

第一，沒(méi)有統(tǒng)一的考卷。NLP 有 GLUE，視覺(jué)有 ImageNet，但時(shí)間序列預(yù)測(cè)至今沒(méi)有一個(gè)被廣泛認(rèn)可的標(biāo)準(zhǔn)評(píng)測(cè)基準(zhǔn)。研究者各自拼湊一組數(shù)據(jù)集跑實(shí)驗(yàn)，結(jié)果難以橫向比較。

第二，考卷嚴(yán)重偏科。現(xiàn)有 benchmark 的數(shù)據(jù)分布高度集中。論文分析了兩個(gè)當(dāng)前主流的大規(guī)模 benchmark：GIFT-Eval 有 50.7% 的序列落在同一類(lèi) regime 里，Timer 更甚，達(dá)到 65.8%。這意味著什么？模型只要在這一類(lèi)"主流題型"上表現(xiàn)好，總分就不會(huì)差——但這不代表它真正全面。就像一張數(shù)學(xué)試卷 70% 都是計(jì)算題，你很難從總分看出誰(shuí)的幾何更好。

第三，考生可能提前看過(guò)答案。當(dāng)前很多時(shí)序 foundation model 的預(yù)訓(xùn)練語(yǔ)料規(guī)模龐大，而公開(kāi) benchmark 被反復(fù)復(fù)用多年。測(cè)試集是否已經(jīng)被模型在預(yù)訓(xùn)練階段間接"見(jiàn)過(guò)"？這種數(shù)據(jù)泄漏風(fēng)險(xiǎn)，正在悄悄侵蝕評(píng)測(cè)的可信度。

第四，題目太簡(jiǎn)單，區(qū)分不出真實(shí)水平。很多經(jīng)典數(shù)據(jù)集的序列長(zhǎng)度偏短，GIFT-Eval 中 50% 的序列不到 200 個(gè)時(shí)間步。這對(duì)于今天動(dòng)輒要做 long-context forecasting 的模型來(lái)說(shuō)，根本評(píng)不出真正的能力上限。

這些問(wèn)題疊加在一起，造成了一個(gè)后果：排行榜上的名次，未必反映模型的真實(shí)能力。論文刷出來(lái)的 SOTA，換個(gè)場(chǎng)景可能就不 work 了。

現(xiàn)在，螞蟻集團(tuán)正式開(kāi)源 Quito 與 QuitoBench，嘗試重新出一張更公平的考卷。

項(xiàng)目地址：
● Website：https://hq-bench.github.io/quito/[1]
● Hugging Face：https://huggingface.co/datasets/hq-bench/quitobench[2]

16 億 token 的工業(yè)級(jí)語(yǔ)料，不只是"更大"

這次開(kāi)源包含兩個(gè)核心部分。

第一個(gè)是Quito，一個(gè)來(lái)自真實(shí)生產(chǎn)環(huán)境的大規(guī)模時(shí)間序列語(yǔ)料庫(kù)。數(shù)據(jù)來(lái)源于 Alipay 平臺(tái)的應(yīng)用流量，覆蓋金融、電商、廣告、基礎(chǔ)設(shè)施、風(fēng)控、IoT 等 9 個(gè)業(yè)務(wù)垂類(lèi)——不是實(shí)驗(yàn)室里仿造的數(shù)據(jù)，而是每天真正在跑的生產(chǎn)系統(tǒng)。

規(guī)模上，Quito 包含兩個(gè)子集：Quito-Min（22,522 條序列，10 分鐘粒度，約 7 億 token）和 Quito-Hour（12,544 條序列，1 小時(shí)粒度，約 10 億 token），總規(guī)模達(dá)到1.6B tokens。序列統(tǒng)一較長(zhǎng)，最短也有 5,904 個(gè)時(shí)間步，足以支撐 context length 從 96 到 1024 的全范圍評(píng)測(cè)。

更關(guān)鍵的是數(shù)據(jù)來(lái)源的"干凈"。Quito 來(lái)自單一專(zhuān)有工業(yè)環(huán)境，與任何公開(kāi)預(yù)訓(xùn)練語(yǔ)料零重疊。這從根源上杜絕了數(shù)據(jù)泄漏的可能——無(wú)論模型的預(yù)訓(xùn)練語(yǔ)料有多大，都不可能在訓(xùn)練階段"見(jiàn)過(guò)"這些測(cè)試數(shù)據(jù)。

不按行業(yè)分，按"難不難預(yù)測(cè)"分

第二個(gè)核心部分是QuitoBench，從 Quito 中進(jìn)一步構(gòu)建的評(píng)測(cè)基準(zhǔn)。它最大的創(chuàng)新不在于規(guī)模，而在于組織方式。

傳統(tǒng) benchmark 按應(yīng)用領(lǐng)域分組：交通、電力、天氣。但領(lǐng)域標(biāo)簽其實(shí)是個(gè)很粗糙的分類(lèi)方式。同樣是交通數(shù)據(jù)，有的序列周期性極強(qiáng)，幾乎可以"閉眼預(yù)測(cè)"；有的則充滿(mǎn)突發(fā)脈沖和噪聲，任何模型都會(huì)掙扎。把它們?nèi)舆M(jìn)同一個(gè)"交通"桶里評(píng)測(cè)，掩蓋的信息遠(yuǎn)比暴露的多。

QuitoBench 換了一個(gè)思路：按時(shí)間序列本身的統(tǒng)計(jì)特征來(lái)分類(lèi)。具體來(lái)說(shuō)，每條序列沿三個(gè)維度打標(biāo)簽——趨勢(shì)強(qiáng)度（Trend）、季節(jié)性強(qiáng)度（Seasonality）、可預(yù)測(cè)性（Forecastability）。三個(gè)維度各分高低，組合出 23 = 8 類(lèi) TSF Regime。

然后在這 8 個(gè)格子里做近乎均衡的采樣，最終得到 1,290 條測(cè)試序列，每類(lèi)占比 10.5%–13.2%。對(duì)比 GIFT-Eval 和 Timer 動(dòng)輒 50%–65% 集中在單一 regime 的情況，QuitoBench 的均衡程度是質(zhì)的飛躍。

這種設(shè)計(jì)的好處很直觀：模型不能再靠"刷主流題型"上分了。aggregate metric 反映的是真實(shí)的全場(chǎng)景能力，而不是對(duì)某一類(lèi)數(shù)據(jù)的過(guò)擬合。同時(shí)，研究者可以按 regime 做細(xì)粒度診斷——你的模型到底是在哪類(lèi)序列上翻車(chē)的，一目了然。

232,200 個(gè)評(píng)測(cè)實(shí)例，10 個(gè)模型，四個(gè)意外發(fā)現(xiàn)

作者在 QuitoBench 上評(píng)測(cè)了 10 個(gè)代表性模型，橫跨深度學(xué)習(xí)（CrossFormer、DLinear、iTransformer、PatchTST、TSMixer）、foundation model（Chronos-2、TimesFM-2.5、TiRex）和統(tǒng)計(jì)基線（Exponential Smoothing、Seasonal Naive）三大類(lèi)。

實(shí)驗(yàn)覆蓋 3 種 context length × 3 種 forecast horizon × 2 種預(yù)測(cè)模式 = 18 種任務(wù)配置，在 1,290 條序列上共產(chǎn)生232,200 個(gè)評(píng)測(cè)實(shí)例。每個(gè)模型需要生成約 1600 萬(wàn)次預(yù)測(cè)——這個(gè)評(píng)測(cè)密度，在時(shí)序領(lǐng)域相當(dāng)罕見(jiàn)。

結(jié)果揭示了幾個(gè)頗具實(shí)踐意義的發(fā)現(xiàn)。

發(fā)現(xiàn)一：Context length 是模型選型的分水嶺。當(dāng)歷史窗口較短（L=96）時(shí)，深度學(xué)習(xí)模型全面領(lǐng)先；但當(dāng)窗口拉長(zhǎng)到 L≥576，foundation model 開(kāi)始反超，到 L=1024 時(shí)優(yōu)勢(shì)進(jìn)一步擴(kuò)大。這說(shuō)明，模型選型不能只看"誰(shuí)的指標(biāo)最好"，還要看你的業(yè)務(wù)場(chǎng)景能提供多長(zhǎng)的歷史數(shù)據(jù)。歷史短，用小模型；歷史長(zhǎng)，foundation model 的預(yù)訓(xùn)練知識(shí)才能真正發(fā)揮出來(lái)。

發(fā)現(xiàn)二：可預(yù)測(cè)性，才是決定難度的關(guān)鍵。在 Trend、Seasonality、Forecastability 三個(gè)維度中，F(xiàn)orecastability 對(duì)預(yù)測(cè)誤差的影響最大。高可預(yù)測(cè)性序列的平均 MAE 為 0.278，低可預(yù)測(cè)性序列為 0.505，差距 1.81 倍。最容易和最困難的 regime 之間，誤差差距更是達(dá)到 3.64 倍。這也從數(shù)據(jù)層面驗(yàn)證了 QuitoBench"按統(tǒng)計(jì)特征分類(lèi)"的設(shè)計(jì)邏輯——行業(yè)標(biāo)簽做不到的事，TSF Regime 做到了。

發(fā)現(xiàn)三：1M 參數(shù)的小模型，打贏了 200M 的大模型。總榜第一名是 CrossFormer，參數(shù)量約 1M。而它擊敗的對(duì)手包括 Chronos-2（~100M）和 TimesFM-2.5（~200M）。平均而言，深度學(xué)習(xí)模型在參數(shù)量少 59 倍的前提下，達(dá)到了接近甚至更好的效果。對(duì)于資源受限、推理成本敏感的工程場(chǎng)景，這是一個(gè)非常實(shí)際的結(jié)論：大不一定好，小而專(zhuān)可能更強(qiáng)。

發(fā)現(xiàn)四：加數(shù)據(jù)比加參數(shù)更有效。作者做了 scaling 實(shí)驗(yàn)，分別沿"訓(xùn)練數(shù)據(jù)量"和"模型參數(shù)量"兩條軸擴(kuò)展。結(jié)論很明確：無(wú)論深度學(xué)習(xí)還是 foundation model，增加訓(xùn)練數(shù)據(jù)帶來(lái)的收益都顯著大于增加模型參數(shù)。CrossFormer 的訓(xùn)練數(shù)據(jù)從 10K 擴(kuò)展到 100M token，MAE 下降了 66%；而參數(shù)量擴(kuò)展到 1M 以上后，收益就開(kāi)始趨于平臺(tái)期。對(duì)時(shí)序領(lǐng)域來(lái)說(shuō)，這意味著：與其追求更大的模型，不如先把數(shù)據(jù)做好。

時(shí)間序列預(yù)測(cè)這個(gè)方向，模型論文一篇接一篇，但評(píng)測(cè)基礎(chǔ)設(shè)施的建設(shè)遠(yuǎn)遠(yuǎn)沒(méi)跟上。ETT、Weather 這些數(shù)據(jù)集在發(fā)布多年后仍是標(biāo)配，不是因?yàn)樗鼈冏銐蚝?，而是因?yàn)闆](méi)有更好的替代品。

QuitoBench 的價(jià)值不是"又多了一個(gè)數(shù)據(jù)集"，而是提出了一種新的 benchmark 設(shè)計(jì)范式：大規(guī)模、長(zhǎng)序列、分布均衡、無(wú)泄漏、工業(yè)真實(shí)場(chǎng)景——用時(shí)間序列的內(nèi)在屬性來(lái)組織評(píng)測(cè)，而不是用行業(yè)標(biāo)簽。這讓我們終于有了一套足夠嚴(yán)肅的工具，來(lái)回答"這個(gè)模型到底行不行"這個(gè)最基本的問(wèn)題。

1. https://hq-bench.github.io/quito/
2. https://huggingface.co/datasets/hq-bench/quitobench