貝葉斯優化的多目標批量能量-熵采集函數

Multi-Objective Batch Energy-Entropy Acquisition Function forBayesian Optimization

https://www.mdpi.com/2227-7390/13/17/2894

摘要
貝葉斯優化（BO）通過采用代理模型（通常為高斯過程）來逼近目標函數，并利用采集函數指導最優點的搜索，為優化昂貴的黑箱函數提供了一種高效框架。批處理貝葉斯優化進一步擴展了這一范式，通過同時選擇并評估多個候選點來提高計算效率，但也帶來了優化所得高維采集函數的挑戰。在現有的批處理貝葉斯優化采集函數中，基于熵的方法被認為是當前最先進的方法，因為它們能夠實現更全局高效的搜索，同時避免冗余評估。然而，這些方法往往未能充分捕捉所選批次點之間的依賴關系和相互作用。在本工作中，我們提出了一種用于貝葉斯優化的多目標批量能量–熵采集函數（MOBEEBO），該方法能夠自適應地利用批次點之間的相關性。此外，MOBEEBO 將多種采集函數作為目標整合到一個統一的框架中，以實現更有效的批次多樣性和質量。實驗結果表明，所提出的算法適用于廣泛的優化問題，并取得了具有競爭力的性能。

關鍵詞：貝葉斯優化；批處理貝葉斯優化；采集函數

1. 引言

貝葉斯優化（BO）[1,2] 已成為解決涉及昂貴評估且未知目標函數的全局優化問題的強大框架。它特別適用于函數評估受到計算成本或時間限制的場景[3]。傳統的貝葉斯優化以順序方式運行，每次迭代選擇一個候選點，并根據觀測結果更新代理模型。然而，許多實際應用，包括材料發現[4]和深度神經網絡的超參數調優[5]，允許并行進行函數評估。在此類設置中，同時選擇并評估一批候選點，可以在保持甚至提升最終解質量的同時，大幅減少總優化時間。

貝葉斯優化在深度神經網絡訓練中的應用顯著拓展了其研究范圍[6]。后續研究探索了處理帶噪聲和多保真度數據[7,8]、高維空間[9]以及批量評估[10]的方法。這些進展通常涉及改進貝葉斯優化的兩個基本組成部分之一：代理模型或采集函數。代理模型提供未知目標函數的概率近似，能夠量化未探索區域的不確定性，其中高斯過程（GP）[11]是一種常見的選擇。在此基礎上，采集函數利用該代理模型來識別下一輪迭代中待評估的候選點，旨在探索高不確定性區域以改進模型與利用當前看起來有希望的區域之間取得平衡[12]。

已有多種采集函數被提出用于指導候選點的選擇過程。期望改進（EI）[13]因其直觀的吸引力以及在高斯假設下的閉式解而成為最廣泛使用的方法之一。它傾向于選擇那些預期能夠改進當前最佳觀測值的點。上置信界（UCB）[14]則引入了一個可調參數來控制探索與利用的平衡，選擇具有高預測均值和高不確定性的點。這些方法在順序單點設置中很高效，但在擴展到批量并行評估時面臨挑戰。為了解決這一問題，最近的研究已轉向基于熵的采集函數，例如預測熵搜索（PES）[15]和最大值熵搜索（MES）[16]，這些方法直接旨在減少關于全局最優點位置的不確定性。近期，批量能量–熵貝葉斯優化（BEEBO）方法[17]被提出，它能夠在優化過程中精確控制探索–利用權衡。因此，基于熵的方法被廣泛認為是批量貝葉斯優化中的最新技術。

然而，這些基于熵的方法本質上未能捕捉所選批次點之間的相關性，通常將批次點獨立處理，這可能加劇冗余性并限制對目標函數的有效探索。盡管BEEBO通過引入能量–熵項來捕捉全局信息，從而部分解決了這一問題，但它仍未顯式地對批次點之間的成對相關性進行建模。因此，所選點可能存在冗余，或者未能充分利用分布在整個批次中的互補信息。為此，在本工作中，我們提出了一種用于貝葉斯優化的多目標批量能量–熵采集函數（MOBEEBO），該函數帶有一個基于RBF核的正則化項，可直接量化成對相似性，從而在批次選擇中促進多樣性并減少冗余性。

本文的主要貢獻如下：

? 我們開發了一個多目標框架，能夠同時整合多種采集函數類型，從而實現自適應的探索–利用權衡以及更均衡的批次選擇決策。
? 我們引入了一個基于能量的正則化項，顯式地建模并利用批次點之間的相關性，從而提升所選候選點的多樣性和質量。
? 通過全面的實證評估，我們證明了MOBEEBO在多種優化基準測試中，整體上相比現有最先進方法取得了更優或具有競爭力的性能。

MOBEEBO 廣泛適用于連續的、昂貴的黑箱優化問題。它在評估成本高昂的場景下尤為有效，因為此時高效利用每一次批量評估至關重要。通過建立在通用貝葉斯優化框架之上，并融合多種采集策略，MOBEEBO 在廣泛的應用領域中保持了其通用性和魯棒性。

2. 相關工作

經典采集策略的批量擴展已成為并行貝葉斯優化的核心關注點。這些方法通常建立在成熟的單點采集函數之上，例如 EI [13]、知識梯度（KG）[18] 和 UCB [14]。當這些函數被調整為每輪迭代選擇 Q 個點的批次時，便產生了諸如 q-EI 和 q-UCB [19] 等批量變體。雖然單點形式通常具有閉式解，能夠實現基于梯度的高效優化，但將它們擴展到批量設置會引入顯著的計算挑戰。在大多數情況下，批量采集函數缺乏閉式解，并且涉及對聯合分布的高維積分，因此需要采用其他優化方法，例如貪心順序選擇、蒙特卡洛近似，或者對多個查詢點聯合期望的解析近似 [20]。

例如，EI 采集函數通過最大化相對于迄今為止觀測到的最佳值（記為 f?t ）的期望改進來選擇下一個查詢點。當使用高斯過程作為代理模型時，EI 可以根據模型的預測均值 μ(x) 和方差 Σ(x) 以閉式形式計算。然而，將 EI 擴展到批量設置（q-EI）——即同時選擇多個點時，其聯合評估需要對多元高斯分布進行積分，隨著批量大小的增加，這很快就會變得難以處理。在這種情況下，通常采用蒙特卡洛（MC）采樣 [21] 來近似采集值及其梯度。然而，由于樣本復雜度的指數級增長，MC 方法可能效率低下，尤其是在高維設置中 [22]。為了解決這個問題，Wilson 等人 [19] 應用了重參數化技巧 [23] 來重新表述采集函數中涉及的積分，從而實現了基于梯度的有效優化。該方法已被證明是有效的，特別是在中等到高維度的問題中。

最近，基于熵的采集函數被提出用于批量貝葉斯優化，因為它們能夠直接且全局地減少關于全局最優點位置或值的不確定性，從而實現更具信息性、非冗余且樣本高效的批量選擇。這一觀點推動了諸如熵搜索（ES）[24]、PES [15] 和 MES [16] 等方法的發展。MES 的一個關鍵區別在于，它關注的是未知最優值與觀測數據之間的互信息 [25]，而不是最優點本身的位置。在 MES 的基礎上，通用信息型貝葉斯優化（GIBBON）方法 [26] 引入了一種可擴展的擴展方法，適用于批量選擇和更復雜的場景，例如多保真度優化。然而，由于近似誤差，其在批量較大時（例如 Q > 50）性能會下降，因此需要使用啟發式的多樣性增強技術。為了緩解這個問題，Teufel 等人 [17] 提出了 BEEBO 采集函數，該函數引入了一個熵項，通過能量–熵權衡來平衡信息增益和多樣性。這種形式不需要蒙特卡洛采樣，并且能夠高效地選擇既具有信息性又具有多樣性的批量點。

3. MOBEEBO 采集函數

我們提出的 MOBEEBO 通過結合基于梯度的批量優化和顯式的多樣性正則化，來解決可擴展性和冗余性問題。通過一個基于 RBF 核的正則化項來懲罰過于接近的批量點，從而緩解冗余；同時，將 BEEBO、q-EI 和 q-UCB 整合在一個統一框架中，確保探索、利用和批量多樣性得到自適應平衡。

4. 實驗
4.1. 實驗設置

我們在多個具有不同輸入維度的基準優化問題上評估了 MOBEEBO 的性能，這些問題總結于表 1 中。這些基準函數均使用 BoTorch 庫 [28] 實現，其中多個函數支持靈活的維度配置。為了在高維設置下評估性能，我們將 Ackley、Rastrigin 和 Levy 函數配置為在 10 維搜索空間中運行，從而提供了一組具有代表性的中等高維優化挑戰。

對于每個測試函數，我們使用提出的 MOBEEBO 算法進行了 10 次獨立的貝葉斯優化運行，并將結果與基線方法 q-EI、q-UCB 以及最先進的基于熵的方法 BEEBO 進行了比較。為確保公平比較，所有方法均采用相同的實驗設置。溫度參數 T T按照原始 BEEBO 工作中的配置設為 0.5。公式 (7) 中正則化項的長度尺度 ? ?設為 1，以產生中等強度的排斥效應。高斯過程代理模型使用 100 個隨機采樣點進行初始化，每個點與已知全局最優點的距離至少為 0.5 個單位，以確保具有挑戰性和無偏的起始條件。對于基于蒙特卡洛的方法（q-EI 和 q-UCB），我們使用 M = 1024 個樣本來評估采集函數。為了消除隨機變異的影響，所有方法均使用相同的隨機種子，確保每次獨立運行都從相同的初始設計點開始。所有實驗均采用固定的批量大小 Q = 100 ，這代表了貝葉斯優化文獻中的大批量設置 [29]。

4.2. 結果

所提出的 MOBEEBO 方法與三種基線方法在連續多輪貝葉斯優化中的優化性能如圖 1–6 所示。每張圖包含兩個子圖：左圖顯示在每次迭代時（截至該輪）在五次獨立運行中找到的平均最佳目標值（ incumbent ），右圖顯示每批次中評估的 Q 個點的平均目標值。兩個陰影區域均表示平均性能周圍的一個標準差范圍。

可以明顯看出，除了嵌入式的 Hartmann 測試問題（在該問題上 MOBEEBO 的表現略遜于其他方法）之外，所提出的 MOBEEBO 采集函數在 10 輪貝葉斯優化中總體上優于其他方法。這種強勁的表現可歸因于 MOBEEBO 較低的預測不確定性，而這一特性源于引入了基于 RBF 的正則化項 R ( x ) 。通過增強每批次內 Q 個點之間的相關性，該項鼓勵對搜索空間進行更連貫的利用，從而降低采集函數的方差并提升優化過程中的整體穩定性。在測試中，BEEBO 取得了第二好的整體表現。它在各輪次中選擇的 Q 個點表現出更大的多樣性但較低的相關性，這可能會促進對搜索空間更廣泛的探索。然而，由此產生的高不確定性可能會因將資源分配到較不 promising 的區域而阻礙利用，導致在意外區域進行低效的搜索。

具體而言，對于 Ackley 函數，MOBEEBO 表現出最快的收斂速度，達到約 3 的值，在所有方法中最為接近最優值 0。相比之下，q-UCB 和 BEEBO 表現出相似的收斂性能，而 q-EI 的收斂性最差，最終優化值約為 10。

然而，Rastrigin 函數的趨勢有所不同。在 BO 的初期輪次中，MOBEEBO 收斂最慢，但其性能曲線在第三輪左右出現急劇下降，并持續下降至接近 40。BEEBO、q-UCB 和 q-EI 表現出相似的收斂模式，其性能在優化過程結束時趨于穩定。此外，Rastrigin 函數的搜索期望波動極小，表明優化過程相對穩定。與之前的場景不同，所有采集函數在此函數上表現出相似的收斂性能，其中 MOBEEBO 略好，q-EI 略差。

與 Rastrigin 問題類似，MOBEEBO 在 Shekel 函數上的初始收斂表現僅為中等，略優于 q-EI，但在第五輪 BO 中性能得到提升，達到約 -7.8，接近最優值 -8。

相比之下，MOBEEBO 在嵌入式的 Hartmann 函數上表現不佳，達到的最佳適應度值約為 -3，而其他三種采集函數收斂到約 -3.25，接近最優值 -3.32237。此外，在此測試問題上，除 MOBEEBO 外的所有采集函數在 Q 個批量點上都表現出劇烈波動。

最后，對于 Cosine Mixture 測試函數的最大化問題，所提出的 MOBEEBO 在各輪次中表現出最快的收斂速度和最佳的優化性能，同時保持最小的波動。

最后，所有采集函數在極高維設置下對 Ackley、Rastrigin 和 Levy 函數的測試性能進行了評估。對應的 100 維問題的結果如圖 7 所示。可以清楚地觀察到，我們提出的 MOBEEBO 在優化早期階段比其他三種采集函數收斂得快得多，隨后趨于穩定，最終在所有三個測試函數上均取得了最佳的優化性能。相比之下，q-EI 表現最差，因為它未能在任何測試問題上收斂。這種現象的一個可能原因是，在極高維空間中，很難達到最佳評估適應度，而該值作為指導優化方向的錨點。令人驚訝的是，觀察到 BEEBO 與 q-EI 類似，也未能收斂，其最終優化結果與隨機初始化幾乎無法區分。這一發現間接表明，批量優化所引入的冗余在高維問題中變得更加明顯。

為了進一步驗證 MOBEEBO 采集函數的有效性，我們使用前幾輪選擇出的 Q 個批量點，額外進行了 10 輪搜索。在此設置下，溫度參數 T T 設為 0 以實現完全利用。由于各個測試問題的尺度差異很大，我們對每個問題的結果進行了最小-最大歸一化。這種歸一化使得我們能夠在從 0 到 1 的標準化尺度上衡量向真實最優值逼近的進展。所有測試函數在 10 輪 BO 后，多次運行平均得到的最高觀測值以及 Wilcoxon 檢驗結果列于表 2 中，最佳值以粗體突出顯示。可以明顯看出，除了嵌入式 Hartmann 函數（在該函數上 MOBEEBO 的值為 0.996，略低于 BEEBO）之外，MOBEEBO 在幾乎所有測試函數上都取得了最高的搜索值。具體而言，對于 Shekel 測試問題，MOBEEBO 顯著優于所有其他方法，達到了 0.828 的值，比 BEEBO 取得的第二佳結果高出約 0.5。

5. 結論

在本文中，我們提出了 MOBEEBO，這是一種用于貝葉斯優化的多目標批量能量–熵采集函數，能夠顯式地考慮批量點之間的相關性。通過將多種采集函數整合到一個統一的框架中，MOBEEBO 利用了不同選擇策略的互補優勢，實現了既全局高效又非冗余的探索。在多種優化問題上的實證評估表明，與包括基于熵的方法在內的現有最先進方法相比，MOBEEBO 總體上取得了具有競爭力或更優的性能。這些結果凸顯了多目標及相關性感知的采集策略在推動批量貝葉斯優化發展方面的潛力。

盡管如此，MOBEEBO 也存在一定的局限性。其性能可能對超參數（例如溫度 T T）的選擇較為敏感，并且評估多個采集目標的計算成本會隨著批量大小 Q Q和問題維度的增加而增長。此外，當前的公式假設了相對無噪聲的設置，這可能無法完全反映實際應用中的挑戰。因此，未來的研究方向將包括：對 MOBEEBO 的收斂保證進行正式的理論分析，其中包括研究其在噪聲和約束優化場景下的魯棒性，以及開發可擴展的近似方法以提高在極大批量和高維問題上的效率。

原文鏈接：https://www.mdpi.com/2227-7390/13/17/2894