Weighted Bayesian Conformal Prediction

加權(quán)貝葉斯共形預(yù)測

https://arxiv.org/pdf/2604.06464

摘要

1 引言

共形預(yù)測（CP）[Vovk et al., 2005] 提供了具有有限樣本覆蓋率保證的無分布預(yù)測區(qū)間：對(duì)于任何模型和未覆蓋率（miscoverage level） α ，構(gòu)建的預(yù)測集包含真實(shí)結(jié)果的概率至少為 1 ? α 。這一優(yōu)雅的保證使 CP 成為現(xiàn)代不確定性量化的基石 [Lei et al., 2018, Romano et al., 2019]。

加權(quán)共形預(yù)測。 當(dāng)測試分布和校準(zhǔn)分布不同（協(xié)變量偏移）時(shí)，Tibshirani 等人 [2019] 引入了加權(quán)可交換性（weighted exchangeability）的概念，并證明了通過似然比對(duì)校準(zhǔn)分?jǐn)?shù)進(jìn)行重加權(quán)可以保持有效的覆蓋率保證。這一基礎(chǔ)性結(jié)果已被應(yīng)用于空間設(shè)置 [Lou et al., 2025]、域適應(yīng)（domain adaptation）和公平感知預(yù)測。但是，加權(quán) CP 仍然是純粹頻率學(xué)派的：它用加權(quán)分位數(shù) 替換了均勻分位數(shù)，這仍然是每個(gè)權(quán)重剖面下的單一確定性閾值。它解決了協(xié)變量偏移問題，但完全沒有解決元不確定性問題。

差距。 現(xiàn)有方法均未同時(shí)提供 (i) BQ-CP 關(guān)于閾值的貝葉斯后驗(yàn)和數(shù)據(jù)條件保證，以及 (ii) 加權(quán) CP 的分布偏移魯棒性。這一差距不僅僅是理論上的：例如，在空間預(yù)測中，基于 200 個(gè)附近可比銷售數(shù)據(jù)的預(yù)測區(qū)間，與基于 5 個(gè)遙遠(yuǎn)銷售數(shù)據(jù)的區(qū)間，其可靠性有著根本的不同——然而，無論是 BQ-CP（完全忽略了空間結(jié)構(gòu)）還是加權(quán) CP（不提供元不確定性）都無法區(qū)分這些情況。

我們的貢獻(xiàn)：加權(quán)貝葉斯共形預(yù)測（WBCP）。 我們通過將 BQ-CP 推廣到任意的重要性加權(quán)設(shè)置來彌合這一差距。我們的關(guān)鍵見解是，那些為加權(quán) CP 提供覆蓋率保證的重要性權(quán)重 [Tibshirani et al., 2019]，通過加權(quán)貝葉斯自助法（weighted Bayesian bootstrap）[Newton and Raftery, 1994] 自然地映射到狄利克雷集中參數(shù)，其中 Kish 有效樣本量 充當(dāng)集中縮放因子。至關(guān)重要的是，WBCP 沒有引入新的假設(shè)：它繼承了加權(quán) CP 的加權(quán)可交換性假設(shè)，并用完整的后驗(yàn)分布豐富了由此產(chǎn)生的點(diǎn)估計(jì)閾值。具體而言，我們做出了以下貢獻(xiàn)：

2 背景

2.1 分裂共形預(yù)測

2.2 加權(quán)共形預(yù)測

標(biāo)準(zhǔn) CP 要求訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)具有可交換性，這在分布偏移（distribution shift）下會(huì)失效。Tibshirani 等人 [2019] 通過引入加權(quán)可交換性（weighted notion of exchangeability）概念，將 CP 擴(kuò)展到了可交換性之外，并證明了適當(dāng)重加權(quán)的共形過程能夠保留覆蓋率保證。

該框架涵蓋了協(xié)變量偏移校正、空間加權(quán)（GeoCP, Lou et al., 2025）以及局部共形預(yù)測（localized CP）[Guan, 2023]。在所有情況下，輸出都是每個(gè)權(quán)重剖面下的單一確定性閾值——加權(quán)分位數(shù)沒有提供關(guān)于其自身可靠性的任何信息。

2.3 作為貝葉斯求積的共形預(yù)測（BQ-CP）

Snell 和 Griffiths [2025] 表明，共形閾值選擇可以被視為針對(duì)期望損失的貝葉斯求積。期望損失的隨機(jī)上界為：

3 加權(quán)貝葉斯共形預(yù)測

3.1 通用框架

3.2 有效樣本量作為集中參數(shù)

3.3 通過蒙特卡洛采樣獲取 HPD 閾值

算法 1 總結(jié)了 WBCP 過程。關(guān)于閾值的后驗(yàn)分布是通過狄利克雷采樣獲得的，而 HPD 閾值提供了數(shù)據(jù)條件保證。

3.4 形式化元不確定性

WBCP 的輸出形式化了 §1 中引入的兩個(gè)不確定性層級(jí)之間的區(qū)別。我們現(xiàn)在使這一區(qū)別在數(shù)學(xué)上精確化。

表 1 總結(jié)了每種方法提供的不確定性輸出。WBCP 是唯一一種同時(shí)處理非均勻權(quán)重并提供關(guān)于閾值的后驗(yàn)分布的方法。

4 理論結(jié)果

4.1 校準(zhǔn)一致性

4.2 后驗(yàn)集中速率

4.3 加權(quán)隨機(jī)占優(yōu)

4.4 條件覆蓋率界限

5 應(yīng)用：地理貝葉斯共形預(yù)測

我們將 WBCP 實(shí)例化用于空間預(yù)測，其中重要性權(quán)重源于地理核函數(shù)。這一實(shí)例化與 Tibshirani 等人 [2019] 的局部條件覆蓋率（local conditional coverage）框架有著自然的理論聯(lián)系。

6 實(shí)驗(yàn)

我們?cè)u(píng)估了五種變體：標(biāo)準(zhǔn) CP、加權(quán) CP (GeoCP)、WBCP (GeoBCP)、自適應(yīng)加權(quán) CP (AdaGeoCP) 以及自適應(yīng) WBCP (AdaGeoBCP)。所有方法均使用 α = 0.1 ， β = 0.9 ，以及 M = 1000 個(gè) MC 樣本。

6.1 合成空間數(shù)據(jù)

6.2 現(xiàn)實(shí)世界空間數(shù)據(jù)

7 相關(guān)工作

共形預(yù)測。 CP [Vovk et al., 2005] 及其分裂變體 [Papadopoulos et al., 2002, Lei et al., 2018] 提供了無分布覆蓋率。擴(kuò)展包括共形分位數(shù)回歸 [Romano et al., 2019]、共形風(fēng)險(xiǎn)控制 [Angelopoulos et al., 2024, Bates et al., 2021] 以及分布共形 CP [Chernozhukov et al., 2021]。

加權(quán)和局部 CP。 Tibshirani 等人 [2019] 引入了加權(quán)可交換性，并證明了重加權(quán)共形過程在協(xié)變量偏移下能保持覆蓋率，確立了 WBCP 所構(gòu)建的理論基礎(chǔ)。Guan [2023] 提出了基于核的局部化方法。Lou 等人 [2025] 將空間加權(quán)應(yīng)用于地理預(yù)測。所有這些方法仍然屬于頻率學(xué)派，僅提供點(diǎn)估計(jì)閾值，而不包含元不確定性。

CP 的貝葉斯方法。 Fong 和 Holmes [2021] 探索了共形貝葉斯計(jì)算。Snell 和 Griffiths [2025] 建立了在獨(dú)立同分布（i.i.d.）數(shù)據(jù)下具有數(shù)據(jù)條件保證的 BQ-CP。我們的工作直接將 BQ-CP 擴(kuò)展到了加權(quán)設(shè)置。

空間 UQ（不確定性量化）。 克里金法（Kriging）[Fotheringham et al., 2002] 在高斯假設(shè)下提供空間預(yù)測方差。GeoCP [Lou et al., 2025] 是無分布的，但屬于頻率學(xué)派。WBCP 結(jié)合了兩者的優(yōu)勢。

8 討論與結(jié)論

原文鏈接：https://arxiv.org/pdf/2604.06464