原文發(fā)表于《科技導(dǎo)報》2025 年第18 期 《面向時間序列和時空數(shù)據(jù)分析的大模型研究進展 》

近年來，大模型憑借其強大的序列建模能力、優(yōu)異的表征學(xué)習(xí)潛力和靈活的預(yù)訓(xùn)練?微調(diào)范式，在自然語言處理和計算機視覺領(lǐng)域取得了突破性進展，也為時間序列和時空數(shù)據(jù)的挖掘分析帶來新的發(fā)展機遇。本文綜述了大模型在時間序列與時空數(shù)據(jù)分析中的研究進展，提出了未來研究亟需在可解釋性增強、多模態(tài)聯(lián)合建模以及模型架構(gòu)創(chuàng)新等方面取得突破。

近年來，人工智能領(lǐng)域見證了基礎(chǔ)模型（FMs）的崛起與蓬勃發(fā)展。基礎(chǔ)模型從早期預(yù)訓(xùn)練語言模型發(fā)展到現(xiàn)在的大語言模型（LLMs）和視覺語言模型（VLMs），在多模態(tài)理解、推理和跨域泛化等方面展現(xiàn)出卓越性能。

值得注意的是，時間序列和時空數(shù)據(jù)與自然語言序列在序列結(jié)構(gòu)上具有本質(zhì)的相似性。這種結(jié)構(gòu)上的相似性自然地引出一個關(guān)鍵問題：我們能否以及如何有效利用現(xiàn)有強大的LLMs，賦能通用的時間序列與時空數(shù)據(jù)的分析任務(wù)？或者說，能否借鑒LLMs的成功范式，構(gòu)建專門針對時間序列與時空數(shù)據(jù)特性的基礎(chǔ)模型？探索上述問題，將大模型的技術(shù)優(yōu)勢引入時間序列與時空數(shù)據(jù)的挖掘分析中已成為當下的學(xué)術(shù)前沿?zé)狳c。

01

基礎(chǔ)理論與關(guān)鍵技術(shù)

1.1 時間序列與時空數(shù)據(jù)分析

時間序列（time series）定義為一組按時間排序的隨機變量的集合{Xt |t ∈ T}，時間序列的觀測值可以認為是隨機變量的實現(xiàn)。時空數(shù)據(jù)（spatio?temporal data）是指同時包含時間維度和空間維度的數(shù)據(jù)集，用于記錄和分析時空動態(tài)變化規(guī)律及其內(nèi)在關(guān)聯(lián)。

1.2 LLMs

LLMs通常是具有大規(guī)模參數(shù)和計算能力的自然語言處理模型。這種大模型具有但小模型不具有的能力通常被稱為“涌現(xiàn)能力”（emergent abilities），為序列建模帶來了前所未有的潛力，并重塑了人類使用人工智能的方式。

1.3 預(yù)訓(xùn)練基礎(chǔ)模型

預(yù)訓(xùn)練基礎(chǔ)模型（PFMs）是指在大規(guī)模語料庫上進行預(yù)訓(xùn)練的通用人工智能模型。隨著PFMs的巨大成功，針對時間數(shù)據(jù)設(shè)計和預(yù)訓(xùn)練的基礎(chǔ)模型也在不斷涌現(xiàn)，但仍處于早期發(fā)展的階段。

1.4 骨干網(wǎng)絡(luò)

1）Transformer架構(gòu)。其核心創(chuàng)新在于對注意力機制的利用，該機制允許模型動態(tài)地關(guān)注輸入數(shù)據(jù)的不同部分。根據(jù)這種網(wǎng)絡(luò)架構(gòu)的變形，目前主流的框架可分為Encoder?decoder（編碼器?解碼器）、Encoder?only（僅編碼器）、Decoder?only（僅解碼器）3種，如圖1所示。

圖1 3種主流模型訓(xùn)練框架

2）擴散（Diffusion）模型。其通過一個迭代的正向擴散過程系統(tǒng)地、緩慢地破壞數(shù)據(jù)分布中的結(jié)構(gòu)，然后學(xué)習(xí)一個反向去噪過程來恢復(fù)數(shù)據(jù)中的結(jié)構(gòu)，從而得到一個高度靈活且易于處理的生成模型（圖2）。

圖2 擴散模型用于時間序列和時空數(shù)據(jù)分析

3）其他模型。除Transformer和擴散模型這類近年來備受關(guān)注的架構(gòu)外，一些經(jīng)典的深度學(xué)習(xí)模型，包括多層感知機（MLP）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和圖神經(jīng)網(wǎng)絡(luò)（GNN）仍然是時間序列與時空數(shù)據(jù)分析領(lǐng)域的重要基石。

02

LLMs賦能時間序列與時空數(shù)據(jù)分析

自然語言處理領(lǐng)域LLMs的快速發(fā)展揭示了其在序列建模和模式識別方面前所未有的能力，這為時間序列與時空數(shù)據(jù)分析提供新的研究范式。我們基于LLMs的時序與時空數(shù)據(jù)分析方法，并依據(jù)模型架構(gòu)設(shè)計將其劃分為3類（圖3）。

圖3 微調(diào)LLMs組件設(shè)計分類

2.1 直接查詢LLMs

PromptCast引入了一種新的基于提示（Prompt）的學(xué)習(xí)范式，在特定領(lǐng)域場景中，尤其是當結(jié)合領(lǐng)域相關(guān)的上下文提示和先進的預(yù)訓(xùn)練LLMs時，直接查詢LLMs可能帶來顯著優(yōu)勢。

2.2 時間數(shù)據(jù)的標記化設(shè)計

Nie等提出了時間序列的補丁表示方法，保留了數(shù)據(jù)的原始相對順序，并將局部信息聚合到每個補丁中。OFA、LLM4TS、TEST、TEMPO和Time?LLM等工作主要采用這種補丁表示方法對時間序列數(shù)據(jù)進行標記化。

2.3 提示設(shè)計

PromptCast為利用LLMs進行時間序列預(yù)測開發(fā)了基于模板的提示，而一些方法通過整合LLMs生成的或收集的背景信息來豐富提示設(shè)計。為應(yīng)對分布偏移的挑戰(zhàn)，TEMPO引入一個共享的提示池，以不同的鍵值對的形式存儲，然后通過相似性分數(shù)匹配機制為微調(diào)選擇最具代表性的軟提示，從而讓模型更好地利用已有的經(jīng)驗知識。

2.4 微調(diào)策略

微調(diào)作為一種強大的工具，能夠使大型預(yù)訓(xùn)練模型適應(yīng)于特定的任務(wù)和應(yīng)用場景。作為一項標準做法，OFA微調(diào)了位置嵌入和歸一化層，并凍結(jié)了自注意力層和前饋神經(jīng)網(wǎng)絡(luò)。TEMPO進一步使用低秩自適應(yīng)（LoRA）微調(diào)自注意力模塊，以適應(yīng)不同的數(shù)據(jù)分布。LLM4TS提出了一種2階段微調(diào)方法，從而保障在不破壞語言模型固有特性的基礎(chǔ)上使得模型能夠更好地適配各類不同域的數(shù)據(jù)及不同的下游任務(wù)。

2.5 集成LLMs作為模型組件

相較于依賴直接查詢或微調(diào)LLMs來生成輸出，一些研究選擇將凍結(jié)的LLMs作為模塊嵌入，以擴展和增強輸入序列的特征表示空間。凍結(jié)的LLMs可以作為多階段建模中的一個功能強大的組件，它提供對數(shù)據(jù)的中間處理或前一個組件的輸出，并將它輸入到隨后的神經(jīng)網(wǎng)絡(luò)或回歸分析。

03

構(gòu)建專用的時間序列與時空數(shù)據(jù)基礎(chǔ)模型

3.1 時間序列基礎(chǔ)模型研究進展

自然語言處理和計算機視覺領(lǐng)域的基礎(chǔ)模型近年來呈現(xiàn)指數(shù)級增長，而時間序列領(lǐng)域的基礎(chǔ)模型研究仍處于早期階段，近期已有一些開創(chuàng)性的工作開始填補這一空白（表1）。

表1 代表性時間序列基礎(chǔ)模型匯總

TimeGPT?1是由Nixtla提出的第一個時間序列大模型，無需額外訓(xùn)練就可以在金融、電力、氣象等各種領(lǐng)域生成準確的預(yù)測。在TimeGPT?1發(fā)布后，時間序列基礎(chǔ)模型的發(fā)展進入加速階段，包括Lag?Llama、TimesFM、Chronos、Moirai和Time?MoE等代表性工作。作為首個開源大型預(yù)訓(xùn)練時間序列基礎(chǔ)模型，MOMENT將通過對時間序列的掩碼預(yù)測任務(wù)進行預(yù)訓(xùn)練。Chronos直接采用與語言模型相同的交叉熵損失函數(shù)進行訓(xùn)練。Time?MoE采用逐點標記化（point?wise tokenization）方法進行時間序列嵌入以完整保留時序信息。

作為時序預(yù)測領(lǐng)域的新興技術(shù)，時間序列基礎(chǔ)模型各具優(yōu)勢，適用于不同的應(yīng)用場景，但也伴隨著一定的局限性，特別是在處理高頻數(shù)據(jù)、長跨度預(yù)測任務(wù)時，其效果往往不及傳統(tǒng)統(tǒng)計方法。當面對上下文信息不足的情況時，模型的泛化能力也會明顯下降。此外，由于需要針對不同垂直領(lǐng)域獨立開發(fā)，這些模型的訓(xùn)練過程通常需要消耗大量計算資源。

3.2 時空數(shù)據(jù)基礎(chǔ)模型研究進展

相較于單一時間序列數(shù)據(jù)，時空數(shù)據(jù)普遍呈現(xiàn)出2個關(guān)鍵的基本特性：異質(zhì)性與自相關(guān)性。這些固有特性不僅顯著增加了時空數(shù)據(jù)建模的復(fù)雜度，也對基礎(chǔ)模型提出了更高的泛化能力要求。當前時空數(shù)據(jù)基礎(chǔ)模型的發(fā)展仍處于相對分散的狀態(tài)，應(yīng)用場景也呈現(xiàn)出明顯的碎片化特征（表2）。

表2 代表性時空基礎(chǔ)模型匯總

3.2.1 城市時空動態(tài)建模

針對城市時空數(shù)據(jù)的多模態(tài)特性，UrbanVLP提出一種視覺?語言?時空聯(lián)合預(yù)訓(xùn)練框架，其核心創(chuàng)新在于設(shè)計時空對比學(xué)習(xí)策略，將不同模態(tài)的時空模式對齊到共享的潛在空間。類似的，CityFM專注于城市多任務(wù)泛化，實現(xiàn)跨場景遷移。OpenCity進一步引入地理編碼先驗知識，增強了模型對空間異質(zhì)性的建模能力。UniST實現(xiàn)了對城市多樣化時空動態(tài)性的統(tǒng)一建模和精準預(yù)測，展現(xiàn)出強大的通用性和泛化能力。

對于軌跡數(shù)據(jù)的PFMs，旨在從輸入數(shù)據(jù)中學(xué)習(xí)通用的順序模式。TrajFM采用軌跡屏蔽和自回歸恢復(fù)機制來增強其學(xué)習(xí)能力。UniTraj軌跡基礎(chǔ)大模型實現(xiàn)跨任務(wù)、跨區(qū)域的泛化能力，并在不同數(shù)據(jù)質(zhì)量下保持魯棒性。PTrajM則是引入 Trajectory?Mamba作為可學(xué)習(xí)模型，實現(xiàn)對連續(xù)運動行為的有效提取。

3.2.2 氣象與地球系統(tǒng)建模

氣象預(yù)測是時空數(shù)據(jù)基礎(chǔ)模型的典型應(yīng)用場景。谷歌的DeepMind研究所開發(fā)的天氣預(yù)報模型GraphCast顯著提升了中長期氣象預(yù)測的精度。微軟團隊發(fā)布的ClimaX通過微調(diào)技術(shù)來解決廣泛的氣候和天氣任務(wù)。上海人工智能實驗室發(fā)布的FengWu大模型解決多種大氣變量表征和相互影響的問題。華為提出的Pangu?Weather提前一周預(yù)測全球天氣。

04

挑戰(zhàn)與機遇

4.1 增強模型的可解釋性

構(gòu)建系統(tǒng)性理論框架以解析LLMs在時間序列和時空數(shù)據(jù)分析中的學(xué)習(xí)模式與應(yīng)用邏輯，成為亟待突破的關(guān)鍵問題。此外，需研發(fā)適用于時間序列和時空數(shù)據(jù)的因果關(guān)系識別方法。

4.2 發(fā)展多模態(tài)模型

LLMs可通過適配學(xué)習(xí)構(gòu)建多模態(tài)聯(lián)合表示—既捕捉時序數(shù)據(jù)的序列依賴性特征，又保留其他模態(tài)的獨特信息特性，實現(xiàn)跨時間分辨率的多模態(tài)信息融合，從而充分挖掘不同時間尺度下的互補信息，進一步提升任務(wù)表現(xiàn)。

4.3 適應(yīng)數(shù)據(jù)分布偏移

最新的研究聚焦于領(lǐng)域?qū)褂?xùn)練等技術(shù)，通過對齊不同領(lǐng)域的特征分布，推動模型學(xué)習(xí)跨域不變性特征；此外，元學(xué)習(xí)技術(shù)通過快速學(xué)習(xí)新分布的適配規(guī)則，僅需少量新分布數(shù)據(jù)即可實現(xiàn)模型對新分布的快速遷移，進一步強化了基礎(chǔ)模型應(yīng)對分布偏移的能力。

4.4 創(chuàng)新模型架構(gòu)

傳統(tǒng)的Transformer架構(gòu)和基于它們的LLMs具有受限的上下文依賴記憶，特別是在處理長序列時面臨挑戰(zhàn)。需要創(chuàng)新性的方法，如稀疏注意力機制、高效的基于圖的表示以及將Transformer與其他架構(gòu)結(jié)合的混合模型。最近，谷歌提出的Infini?Transformer能夠在有限的內(nèi)存條件下處理極長的輸入；Meta等開發(fā)新架構(gòu)Megalodon實現(xiàn)了無限上下文處理能力。

05

結(jié)論

最新研究表明，大模型在時間序列和時空數(shù)據(jù)分析中展現(xiàn)出應(yīng)用潛力。一方面，基于LLMs的提示工程、標記化和參數(shù)微調(diào)等技術(shù)，為自然語言與時序/時空數(shù)據(jù)的模態(tài)對齊提供了可行路徑。另一方面，面向時序與時空特性的專用基礎(chǔ)模型通過跨域預(yù)訓(xùn)練，逐步形成統(tǒng)一的時空動態(tài)表征能力。

當前研究仍面臨若干挑戰(zhàn)：

（1）時空數(shù)據(jù)的異質(zhì)性和自相關(guān)性導(dǎo)致模型泛化能力受限，跨領(lǐng)域遷移時易受分布偏移影響；

（2）多模態(tài)對齊存在語義鴻溝，數(shù)值型時空數(shù)據(jù)與文本/視覺等模態(tài)的聯(lián)合表征仍需突破；

（3）模型可解釋性不足制約其在關(guān)鍵領(lǐng)域的可信應(yīng)用。

未來，面向時間序列與時空數(shù)據(jù)分析的大模型需聚焦以下方向：

（1）模型架構(gòu)創(chuàng)新，融合物理機理與數(shù)據(jù)驅(qū)動優(yōu)勢，提升對非平穩(wěn)動態(tài)的建模能力；

（2）多模態(tài)協(xié)同學(xué)習(xí)技術(shù)突破，建立時空?語言?視覺的統(tǒng)一表征，實現(xiàn)跨模態(tài)知識遷移；

（3）可信賴性增強機制構(gòu)建，發(fā)展因果推理、不確定性量化等技術(shù)提升模型可解釋性。

本文作者：羅遠波、孫嘉、陶俐芝

作者簡介：羅遠波，南方海洋科學(xué)與工程廣東省實驗室（廣州），助理研究員，研究方向為時間序列建模與地理時空數(shù)據(jù)智能分析；陶俐芝（通信作者），江西師范大學(xué)鄱陽湖濕地與流域研究教育部重點實驗室，助理研究員，研究方向為水文氣象多尺度問題建模與分析。

文章來 源 ： 羅遠波, 孫嘉, 陶俐芝. 面向時間序列和時空數(shù)據(jù)分析的大模型研究進展[J]. 科技導(dǎo)報, 2025, 43(18): 48?56 .

本文有刪改，

點擊面向時間序列和時空數(shù)據(jù)分析的大模型研究進展.pdf獲取全文。

內(nèi)容為【科技導(dǎo)報】公眾號原創(chuàng)，歡迎轉(zhuǎn)載
白名單回復(fù)后臺「轉(zhuǎn)載」

《科技導(dǎo)報》創(chuàng)刊于1980年，中國科協(xié)學(xué)術(shù)會刊，主要刊登科學(xué)前沿和技術(shù)熱點領(lǐng)域突破性的研究成果、權(quán)威性的科學(xué)評論、引領(lǐng)性的高端綜述，發(fā)表促進經(jīng)濟社會發(fā)展、完善科技管理、優(yōu)化科研環(huán)境、培育科學(xué)文化、促進科技創(chuàng)新和科技成果轉(zhuǎn)化的決策咨詢建議。常設(shè)欄目有院士卷首語、科技新聞、科技評論、專稿專題、綜述、論文、政策建議、科技人文等。