Laplace Approximation for Bayesian Tensor Network Kernel Machines

貝葉斯張量網絡核機的拉普拉斯近似

https://arxiv.org/pdf/2604.26673

摘要

在存在模糊或分布外輸入的情況下，不確定性估計對于魯棒決策至關重要。高斯過程（GPs）是經典的基于核的模型，提供原理性的不確定性量化，并在中小規模數據集上表現良好。另一種方法是在張量網絡假設下構建權重空間學習問題，從而產生可擴展的張量網絡核機器。然而，這些假設破壞了高斯性，使標準概率推斷復雜化。這提出了一個根本性問題：張量網絡核機器如何提供原理性的不確定性估計？我們提出了一種新穎的貝葉斯張量網絡核機器（LA-TNKM），它采用（線性化）拉普拉斯近似進行貝葉斯推斷。一組全面的數值實驗表明，所提出的方法在多樣化的 UCI 回歸基準測試中始終匹配或超越高斯過程和貝葉斯神經網絡（BNNs），突顯了其有效性和實際相關性。

1 引言

機器學習（ML）系統區分不同感興趣對象的能力在多個領域提供了重要價值：從金融 [Dixon et al., 2020] 和醫療 [Shehab et al., 2022] 應用，到自然語言處理 [Nam and Jang, 2024] 和推薦系統 [Roy and Dutta, 2022]。例如，便攜式個性化醫療助手可以利用生理測量數據——如心率、年齡、身高和體重——作為輸入特征，以生成診斷預測或疾病風險評估。然而，在實際應用中，一個關鍵組件常被忽視：不確定性估計（UE）[Li et al., 2012, Abdar et al., 2021]。構建不確定性感知模型的方法之一是通過概率建模 [Murphy, 2022]，其目標是估計以下預測分布：

在本工作中，我們引入了貝葉斯張量網絡核機器（LA-TNKM），它在單一框架內統一了變分推斷和（線性化）拉普拉斯近似。關鍵思想是用在局部最大值處中心化的高斯分布來局部近似模型參數上的后驗，其中協方差捕獲局部曲率。這種近似使得預測分布 (1) 的估計成為可能，并通過變分推斷框架促進了超參數評估。在此基礎上，本工作的主要貢獻是：

• 我們引入了 LA-TNKM，一種新穎的概率張量網絡模型，它能夠在保持與標準基于 MAP 的張量網絡核機器相當的計算成本的同時，實現不確定性感知預測。
• 我們在張量網絡框架內系統地評估了各種 Hessian 近似技術——Full、Generalized Gauss–Newton、Block-Diagonal、Diagonal 和 Last Core——突顯了它們對內存需求、計算效率和預測性能的影響。
• 我們展示了 LA-TNKM 在 UCI 回歸基準上的競爭性表現，在那里它始終匹配或優于高斯過程、貝葉斯神經網絡和其他基于張量網絡的回歸方法，突顯了其魯棒性和實際效用。

2 背景

2.1 張量網絡

張量網絡（TNs）[Kolda and Bader, 2009, Cichocki, 2014] 的基本思想是通過將高維張量 W W 分解為由共享索引連接的較小低秩張量（核心）網絡，從而有效地表示和操縱它們。在本工作中，我們專注于規范多向分解（Canonical Polyadic Decomposition）。

2.2 張量網絡核機器

考慮以下線性回歸模型：

優化張量網絡模型的常用方法包括專用算法，例如交替最小二乘法（ALS）[Uschmajew, 2012, Wesel and Batselier, 2021] 和黎曼優化 [Novikov et al., 2018]，這些方法利用多線性張量結構以實現高效收斂。也可以采用通用的一階或二階基于梯度的方法。

2.3 貝葉斯推斷

貝葉斯推斷通過貝葉斯法則利用概率分布對參數上的不確定性進行建模 [Murphy, 2022]：

3 貝葉斯張量網絡核機器

我們考慮以下判別模型：

這允許對真實后驗進行高效近似。關于變分推斷和超先驗的詳細信息見附錄 A.2 節。

3.1 張量網絡參數后驗

貝葉斯推斷的一個核心要素是模型參數上的后驗分布 (6)，它同時捕捉了模型的容量及其不確定性。計算后驗預測分布 (7) 需要計算一個高維積分，這通常是難以處理的。為此，我們采用拉普拉斯近似 [Bishop, 2006] 來獲得一個可處理的后驗估計，將 p ( v ∣ D ) 近似為 q ( v ) 如下：

該過程重復進行若干輪次（sweeps）。

3.2 海森矩陣近似

拉普拉斯近似的一個關鍵且具有技術挑戰性的方面是計算海森矩陣 ，如公式 (12) 所定義。借鑒貝葉斯神經網絡（BNNs）在海森矩陣估計方面的最新進展 [Kristiadi et al., 2020, Daxberger et al., 2021, Cinquin et al., 2025]，我們在張量網絡建模范式內對幾種海森近似類型進行了分類與比較——全矩陣（Full）、廣義高斯-牛頓（GGN）、塊對角（Block）、對角（Diag）和最后核心（Last）——從內存占用和訓練復雜度方面進行分析。

全海森矩陣。 利用 CPD 核機器的多線性性質，我們獲得了如下定理所陳述的完整海森矩陣。

GGN 海森矩陣。 廣義高斯-牛頓近似的主要優勢在于其半正定性，這與全海森矩陣形成對比，后者可能同時包含正特征值和負特征值 [Immer et al., 2021]。該近似的公式給出如下：

塊對角海森矩陣。 塊對角海森矩陣近似的使用在貝葉斯神經網絡文獻中已被證明是有效的 [Martens and Grosse, 2015, Botev et al., 2017]。關鍵假設是 CPD 核心（類似于貝葉斯神經網絡中的獨立層）相互獨立，這使得后驗可以表示為：

對角海森矩陣。 在這種情況下，我們假設所有模型權重都是相互獨立的（即平均場方法 [Konstantinidis et al., 2022]），因此后驗分布由一個對角多元高斯分布近似：

3.3 預測分布

無論選擇何種后驗近似（例如，海森矩陣形式），預測分布都是通過對近似后驗 q ( v ) 與條件模型進行積分獲得的：

我們將標準預測分布記為 LA，將其線性化對應物記為 LLA。在 4.1 節中，我們實證比較了它們針對張量網絡核機器的預測性能。

4 數值實驗

4.1 消融研究

4.2 合成數據上的不確定性

5 相關工作

我們的貢獻位于貝葉斯神經網絡（BNNs）、其與高斯過程（GPs）的聯系以及基于張量網絡（TNs）的概率方法的交叉點。Khan et al. [2019] 建立了 BNNs 與 GPs 之間的理論聯系，表明通過拉普拉斯或變分推斷獲得的高斯后驗近似對應于高斯過程回歸后驗。局部線性化及其與 BNNs 中廣義高斯-牛頓（GGN）近似的聯系由 Immer et al. [2021] 探索，并在 Antoran et al. [2022] 中進一步擴展，作者在文中解決了經典拉普拉斯近似假設與現代神經網絡行為之間的不匹配問題。Miani et al. [2025] 提出了另一種視角，他們提出了一種可擴展的、無矩陣的方法，用于在海森矩陣的零空間中構建貝葉斯近似，以緩解欠擬合問題。

另一條相關研究路線聚焦于概率張量網絡模型。Guo and Draper [2021] 將拉普拉斯近似應用于具有網絡參數貝葉斯先驗的張量列車模型。相比之下，Konstantinidis et al. [2022] 為基于 CPD 的模型提出了一個可擴展的變分推斷框架，使用低秩和克羅內克結構的后驗來平衡表達能力與可處理性。作為這些方法的補充，Menzen et al. [2023] 通過將問題投影到由張量網絡定義的低維子空間中、在其中執行貝葉斯推斷、然后投影回原始空間以進行高斯過程預測，從而近似高斯過程。

6 結論

在本文中，我們開發了一種新穎的貝葉斯張量網絡核機器（LA-TNKM），它為其預測提供不確定性估計。我們將拉普拉斯近似應用于 CPD 權重后驗分布，以使貝葉斯推斷可處理，并引入了幾種類型的海森矩陣近似，突顯了它們各自的優勢與局限性。我們通過實驗驗證了預測函數局部線性化的益處，并將所提出的 LA-TNKM 模型與基于高斯過程和貝葉斯神經網絡的基線方法進行了比較。結果表明，LA-TNKM 在多樣化的數據集和應用中均具有競爭力和有效性。未來的工作可專注于改進優化策略（尋找最大后驗估計）、設計問題相關的先驗，以及探索替代的張量網絡架構（例如分層 Tucker 分解），以增強靈活性和性能。

原文鏈接：https://arxiv.org/pdf/2604.26673