邏輯、概率編程以及因果法則

Logic + probabilistic programming + causal laws

https://royalsocietypublishing.org/doi/pdf/10.1098/rsos.230785

摘要

概率規(guī)劃旨在將隨機(jī)模型直接融入規(guī)劃過程，該過程的目標(biāo)是為一個(gè)假設(shè)的智能體合成一系列動(dòng)作，以實(shí)現(xiàn)某種目標(biāo)。概率編程已迅速發(fā)展成為一種關(guān)鍵范式，它將概率概念與編程語言相結(jié)合，使人們能夠使用遞歸和循環(huán)等編程原語來指定復(fù)雜的概率模型。概率邏輯編程則進(jìn)一步旨在利用一階邏輯構(gòu)件，簡化結(jié)構(gòu)化概率分布的描述。本文簡要討論了通過概率（邏輯）編程的視角對(duì)概率規(guī)劃進(jìn)行建模的問題。盡管此類集成存在多種可能的形式，我們重點(diǎn)關(guān)注兩個(gè)代表性示例：第一個(gè)是對(duì)流行的概率邏輯編程語言PROBLOG的擴(kuò)展，允許在Horn子句（即Prolog程序）上標(biāo)注概率；第二個(gè)是對(duì)流行的智能體編程語言GOLOG的擴(kuò)展，允許通過動(dòng)作、效果和觀測對(duì)動(dòng)態(tài)系統(tǒng)進(jìn)行邏輯描述。這兩種概率擴(kuò)展分別突出了概率編程在解決概率規(guī)劃中提出的非平凡建模問題時(shí)所具有的不同優(yōu)勢。具體而言，人們可以在一階設(shè)定下實(shí)例化具有不斷增長或縮小狀態(tài)空間、離散與連續(xù)概率分布以及非唯一先驗(yàn)分布的規(guī)劃問題。

關(guān)鍵詞：統(tǒng)計(jì)關(guān)系學(xué)習(xí)，一階邏輯，概率編程

1. 引言

自動(dòng)規(guī)劃是人工智能領(lǐng)域的一個(gè)重要研究課題，擁有悠久而輝煌的歷史 [1]。經(jīng)典范式假設(shè)存在一個(gè)特定的初始狀態(tài)，該狀態(tài)由一組事實(shí)構(gòu)成，并在一組能夠以某種方式改變該狀態(tài)的動(dòng)作上進(jìn)行定義。動(dòng)作進(jìn)一步通過其適用條件（即智能體執(zhí)行該動(dòng)作前必須為真的條件）和效果（即程序上相當(dāng)于向狀態(tài)中添加新事實(shí)并移除其他事實(shí)）來刻畫。科學(xué)目標(biāo)則是設(shè)計(jì)算法，合成一個(gè)動(dòng)作序列，使智能體從初始狀態(tài)達(dá)到期望的目標(biāo)狀態(tài)。

自早期起，自動(dòng)規(guī)劃便受到機(jī)器人應(yīng)用的驅(qū)動(dòng)。但人們發(fā)現(xiàn)，現(xiàn)實(shí)世界——更準(zhǔn)確地說，機(jī)器人對(duì)世界的認(rèn)知——幾乎從來不是簡單的一組真實(shí)事實(shí)，且智能體打算執(zhí)行的動(dòng)作也從未完全按照預(yù)期的方式運(yùn)作。理解這種復(fù)雜性的一種方法是將“高層推理”（在此例中即規(guī)劃器的搜索空間）與底層的感知-運(yùn)動(dòng)細(xì)節(jié)分離開來。從積極的一面看，這種分離使得計(jì)劃表示可以保持有限、離散且簡潔；但從消極的一面看，實(shí)現(xiàn)這種關(guān)注點(diǎn)分離需要投入大量專家知識(shí)，可能因此犧牲了對(duì)系統(tǒng)整體行為清晰性的把握。

順便提及，通過在受控環(huán)境中反復(fù)測試機(jī)器人的執(zhí)行器，人們可以用概率分布近似描述某個(gè)動(dòng)作的不確定效果。類似地，基于對(duì)環(huán)境的最小化假設(shè)（表達(dá)為概率先驗(yàn)），通過重復(fù)采樣，機(jī)器人可更新其先驗(yàn)，收斂到一個(gè)合理后驗(yàn)，從而近似環(huán)境的真實(shí)狀態(tài) [2]。為此，概率規(guī)劃試圖直接將此類模型融入規(guī)劃過程。迄今為止，已有多種用于概率規(guī)劃的語言和算法框架，例如 [3–6]。

本文簡要討論通過概率（邏輯）編程視角對(duì)概率規(guī)劃進(jìn)行建模的問題。概率編程已迅速發(fā)展成為一種關(guān)鍵范式，旨在將概率概念與編程語言相結(jié)合，使人們能夠使用遞歸、循環(huán)等編程原語指定復(fù)雜的概率模型 [7]。概率邏輯編程則進(jìn)一步旨在利用一階邏輯構(gòu)件，簡化結(jié)構(gòu)化概率分布的描述。

總體而言，概率編程語言的發(fā)展旨在支持概率機(jī)器學(xué)習(xí)應(yīng)用中的模塊化與重用。其原子構(gòu)建塊包含隨機(jī)原語，其形式化表示也允許組合性 [7,8]。

盡管此類集成有多種可能的形式，我們重點(diǎn)關(guān)注兩個(gè)代表性示例：第一個(gè)是對(duì)流行的概率邏輯編程語言 PROBLOG 的擴(kuò)展，允許在 Horn 子句（即 Prolog 程序）上標(biāo)注概率；第二個(gè)是對(duì)流行的智能體編程語言 GOLOG 的擴(kuò)展，允許通過動(dòng)作、效果和觀測對(duì)動(dòng)態(tài)系統(tǒng)進(jìn)行邏輯描述。這兩種概率擴(kuò)展分別突出了概率編程在解決概率規(guī)劃中提出的非平凡建模問題時(shí)所具有的不同優(yōu)勢。具體而言，人們可以在一階設(shè)定下實(shí)例化具有不斷增長或縮小狀態(tài)空間、離散與連續(xù)概率分布以及非唯一先驗(yàn)分布的規(guī)劃問題。更精確地說，我們將概述兩個(gè)系統(tǒng)的特性：

— HYPE [9]：一個(gè)基于分布子句 [10] 的規(guī)劃框架； — ALLEGRO [11]：一個(gè)擴(kuò)展 GOLOG [12] 的高級(jí)控制編程框架。

這兩個(gè)系統(tǒng)強(qiáng)調(diào)了概率編程的不同優(yōu)勢，我們認(rèn)為這些優(yōu)勢對(duì)于概率規(guī)劃中提出的復(fù)雜建模問題尤其有用。HYPE 能夠輕松描述由于對(duì)象存在性不確定性導(dǎo)致的狀態(tài)空間增長與收縮，因而與 BLOG 模型 [13,14] 密切相關(guān)。由于 HYPE 是 PROBLOG [15] 的擴(kuò)展，它可受益于 PROBLOG 所探索的廣泛應(yīng)用和機(jī)器學(xué)習(xí)模型。1 該領(lǐng)域的動(dòng)態(tài)特性通過將時(shí)間作為謂詞參數(shù)予以實(shí)例化，因此可能最適合處理有限時(shí)域的規(guī)劃問題。

ALLEGRO 將動(dòng)作視為頭等公民，建立在一個(gè)豐富的動(dòng)力學(xué)和主觀概率模型基礎(chǔ)上，使其能夠處理情境敏感的效果公理，以及施加于一階公式上的非唯一概率測度。GOLOG 也被廣泛應(yīng)用于各類需在動(dòng)態(tài)場景中運(yùn)用結(jié)構(gòu)化知識(shí)（如本體）的應(yīng)用 [16]，而 ALLEGRO 可繼承這些發(fā)展成果。此外，GOLOG 已被證明可用于結(jié)構(gòu)化大規(guī)模規(guī)劃空間的搜索 [17]。最后，由于其包含迭代和循環(huán)構(gòu)造，這類程序最適用于建模非終止行為 [18]。

接下來，我們將介紹這兩個(gè)系統(tǒng)的核心形式化和算法貢獻(xiàn)，最后討論開放的計(jì)算問題。顯然，這兩個(gè)系統(tǒng)并非僅有的融合邏輯與概率元素用于規(guī)劃的語言：關(guān)系型馬爾可夫決策過程（MDP）[19]、一階部分可觀測馬爾可夫決策過程（POMDP）[20]，以及程度較輕的基于動(dòng)作模型的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) [21] 均屬于更大范疇的一部分。然而，這些系統(tǒng)建立在強(qiáng)大且通用的邏輯基礎(chǔ)之上：HYPE 是 PROBLOG 的擴(kuò)展，因而允許使用邏輯編程指定概率斷言；而 ALLEGRO 是 GOLOG 的擴(kuò)展，后者是一種帶有一些二階邏輯特性的一階邏輯方言。因此，它們展示了當(dāng)概率與一階邏輯在動(dòng)態(tài)環(huán)境中統(tǒng)一時(shí)所能實(shí)現(xiàn)的可能性。這使我們的研究議程區(qū)別于 BLOG 及其動(dòng)態(tài)版本 [13,14] 等提案——后者雖支持某些一階特征，但不允許任意邏輯連接詞和量詞。

為準(zhǔn)備后續(xù)討論，讓我們簡要反思為何概率邏輯編程是一種強(qiáng)大的范式。

1. 為何將概率編程與邏輯結(jié)合？

概率編程是一個(gè)不斷發(fā)展的領(lǐng)域，其核心是將概率模型表示為可執(zhí)行代碼 [8,13,22–25]。這一方法使研究人員能夠形式化、自動(dòng)化并擴(kuò)展建模與推理的諸多方面，使其更易于被更廣泛的開發(fā)者和領(lǐng)域?qū)＜宜斫夂蛻?yīng)用。通過整合來自多個(gè)領(lǐng)域的建模與推理方法，該技術(shù)還推動(dòng)了新型可編程人工智能系統(tǒng)的發(fā)展。概率編程被廣泛用于統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析領(lǐng)域的問題建模與求解。諸如 STAN 和 BUGS [26] 等隨機(jī)編程語言提供了一種形式化語言，能夠以簡潔、統(tǒng)一且可復(fù)用的方式描述廣泛范圍內(nèi)的模型，并支持通用推理技術(shù)。Pyro 是一種基于 Python 編寫并由 PyTorch 支持的概率編程語言，它支持靈活而富有表現(xiàn)力的深度概率建模，實(shí)現(xiàn)了深度學(xué)習(xí)與貝葉斯建模的統(tǒng)一 [27]。

當(dāng)前主流討論大致分為兩類陣營。第一類聚焦于“傳統(tǒng)”編程語言（如 Python），其努力集中在如何在程序代碼中封裝神經(jīng)計(jì)算，例如 Pyro（以及一定程度上的 STAN）。另一極端則關(guān)注函數(shù)式編程和高階編程語言的支持，以及如何為這類語言中的操作構(gòu)造賦予指稱語義——尤其是像“從正態(tài)分布中采樣”這樣的構(gòu)造 [28]。對(duì)于程序代碼而言，正確的采樣策略（尤其涉及循環(huán)和高階函數(shù)時(shí)），以及這些樣本如何收斂以實(shí)現(xiàn)穩(wěn)健推理，仍然是一個(gè)極具挑戰(zhàn)性的問題 [24]。

在這一背景下，概率邏輯編程（PLP）[10,29–35] 成為一個(gè)引人注目的新方向。該概念涉及將概率融入邏輯程序的規(guī)則之中。（盡管本文主要聚焦于 PROBLOG，但歷史上已有許多有趣提案嘗試結(jié)合邏輯編程與概率，如上文所暗示；參見 [36]。）最初，其思路是為每個(gè)隨機(jī)選擇生成所有可能的證明，并確定這些“世界”的概率 [15]。然而，近期進(jìn)展已催生出將程序編碼為模型計(jì)數(shù)任務(wù)的策略 [37]。有趣的是，這一問題任務(wù)也可應(yīng)用于其他多種表示形式，包括因子圖、關(guān)系型貝葉斯網(wǎng)絡(luò)和馬爾可夫邏輯網(wǎng)絡(luò) [38]。所有這些共同構(gòu)建了一個(gè)極其強(qiáng)大的管道，可提供精確推理能力。

我們認(rèn)為，概率邏輯編程區(qū)別于其他概率編程技術(shù)的四個(gè)關(guān)鍵特征如下：

首先，概率邏輯編程具有擴(kuò)展容忍性（elaboration tolerance），意味著它能輕松融入新知識(shí)，而無需修改整個(gè)程序。

其次，它允許納入關(guān)系性知識(shí)，從而能夠?qū)﹄S機(jī)對(duì)象及其屬性進(jìn)行建模。

第三，它能夠處理約束條件，這使其適用于解決優(yōu)化問題。

最后，它支持模塊化的非概率計(jì)算，使得開發(fā)更大、更復(fù)雜的系統(tǒng)更為容易。

我們并非意在聲稱 PLP 能夠解決經(jīng)典概率程序（PPs）所面臨的問題或表征挑戰(zhàn)。在很大程度上，經(jīng)典概率編程的關(guān)注點(diǎn)和應(yīng)用場景與 PLP 并不重疊。雖然可以將一些簡單的 PPs 示例重構(gòu)為 PLPs，但顯然需要更深入的研究。此外，盡管已有工作探索將邏輯編程與高階編程相結(jié)合 [39]，但在 PLP 框架下整合函數(shù)式構(gòu)件和高階編程仍需進(jìn)一步研究。

讓我們通過幾個(gè)例子具體說明上述特征。回顧一下，聲明式編程是一種編程范式，它表達(dá)計(jì)算的邏輯而不顯式定義各步驟應(yīng)如何執(zhí)行。我們描述的是程序的“做什么”，而非“如何完成”。那么，在概率語境下，這種范式意味著什么？我們認(rèn)為這意味著：(i) 決策的指令和邏輯是固定的，但 (ii) 概率本身（無論如何都是從數(shù)據(jù)中學(xué)習(xí)得到的）可以在無需修改邏輯指令的情況下進(jìn)行更新；此外，(iii) 利用這些概率進(jìn)行計(jì)算時(shí)無需用戶輸入。正如我們將展示的，像 PROBLOG 這樣的語言（以及其他概率邏輯語言）能夠輕松實(shí)現(xiàn)這一點(diǎn)。

假設(shè)有一種傳染病正在人群中傳播。若兩人經(jīng)常接觸，且其中一人已被感染，則另一人被感染的概率為 0.6。目標(biāo)是在給定一組初始感染者和人群內(nèi)個(gè)體間聯(lián)系圖的前提下，預(yù)測疾病傳播情況。我們可以使用以下程序：

該語句表明，隨機(jī)選擇的一個(gè)人有 0.1 的概率已被感染。兩個(gè)隨機(jī)選擇的人之間有 0.1 的概率存在接觸。最后，給定一個(gè)隨機(jī)選擇的感染者以及另一個(gè)與該感染者有接觸的人，第二個(gè)人被感染的概率為 0.6。

顯然，如果我們需要更新這些概率或?qū)⑵渲心承└怕矢臑榇_定性值，邏輯規(guī)則本身不會(huì)受到影響。我們只需更新數(shù)值即可。例如，若要使傳播過程變?yōu)榇_定性的，我們可以將上述第五行替換為：

事實(shí)上，麥卡錫（McCarthy）提出的“擴(kuò)展容忍性”概念，被定義為一種形式化體系所具備的特性：它能方便地修改一組事實(shí)，以適應(yīng)新現(xiàn)象或變化的環(huán)境。這意味著該形式化體系能夠輕松融入新知識(shí)，而無需改動(dòng)整個(gè)程序。他設(shè)想存在不同類型的擴(kuò)展，其中最簡單的一種是添加新的公式，他稱之為“加法式擴(kuò)展”。此外，第二種擴(kuò)展類型是更改參數(shù)的取值。盡管他最終使用另一組示例探討了這些概念，但不難看出，在非常具體的層面上，概率邏輯編程（PLPs）確實(shí)支持?jǐn)U展容忍性。更新概率值，甚至將概率斷言改為確定性斷言，都可輕松實(shí)現(xiàn)，如下所示（示例改編自 [40,41]）：

該程序現(xiàn)在還額外說明：易感人群感染疾病的可能性更高。

值得注意的是，此類語言可作為其他人工智能系統(tǒng)的接口，包括自然語言交互以及深度學(xué)習(xí)模型。例如，在文獻(xiàn) [42] 中，以下類型的問題可以被解析為 PROBLOG 程序：

2.1 你擲一枚公平的六面骰子兩次。第一次擲出五、第二次擲出六的概率是多少？

此處，粗體文字顯然代表一個(gè)概率模型，其余部分則是一個(gè)查詢。相應(yīng)地，文本將被解析并分詞為如下形式的 PROBLOG 程序（包含一些用于概率和組合構(gòu)造的附加語法，例如“有放回抽取”）：

運(yùn)行該程序即可返回問題的答案。

相反，在文獻(xiàn) [30,43] 中，邏輯推理被用來引導(dǎo)深度學(xué)習(xí)模型學(xué)習(xí)符合約束條件的概率分布。這些模型背后所依賴的是一種極其簡單但普遍存在的計(jì)算任務(wù)——加權(quán)模型計(jì)數(shù)（weighted model counting）[44]。近年來，針對(duì)連續(xù)模型對(duì)該任務(wù)的擴(kuò)展 [45] 已使基于邏輯的求解策略能夠應(yīng)用于一系列“非邏輯”（即經(jīng)典）的概率編程語言 [46–48]。

1. HYPE

PROBLOG 旨在統(tǒng)一邏輯編程與概率規(guī)范，其含義是提供一種語言，既能指定概率分布，又能查詢事件發(fā)生的概率。作為一個(gè)非常簡單的例子，若要表達(dá)“物體 c 以某一概率位于桌子上”，以及“所有在桌子上的物體也都在房間內(nèi)”，我們可以寫作（自由變量默認(rèn)為全稱量化）：

這句話表明，在時(shí)間點(diǎn) t 移除物體 x 時(shí)，我們可以假定在 x 的后方存在一些物體——通常是一個(gè)這樣的物體。這類程序可用于目標(biāo)跟蹤應(yīng)用中，對(duì)被遮擋的物體進(jìn)行推理。

在許多機(jī)器人應(yīng)用 [2] 中，一個(gè)常見的設(shè)定是為動(dòng)作和傳感器定義帶有誤差分布的模型，例如高斯噪聲模型。這些模型可以在 HYPE 中通過以下方式實(shí)例化：

第一條規(guī)則表明，當(dāng)執(zhí)行移動(dòng)動(dòng)作時(shí)，物體 x 的新位置是從一個(gè)正態(tài)分布中抽取的，該分布的均值為 x 當(dāng)前位置加 1。第二條規(guī)則則說明，對(duì) x 當(dāng)前位置的觀測會(huì)受到加性高斯噪聲的影響。

作為一個(gè)自動(dòng)規(guī)劃系統(tǒng)，HYPE 實(shí)例化了一個(gè)馬爾可夫決策過程（MDP）[49]。回顧可知，MDP 是由狀態(tài)、動(dòng)作、隨機(jī)轉(zhuǎn)移和獎(jiǎng)勵(lì)函數(shù)定義的，這些要素可以通過上述語法中的規(guī)則來實(shí)現(xiàn)，例如：

為了計(jì)算策略（即從狀態(tài)和時(shí)間點(diǎn)映射到動(dòng)作的函數(shù)），HYPE 結(jié)合了重要性采樣（importance sampling）與 SLD 歸結(jié)（SLD resolution），從而有效地彌合了高層符號(hào)化規(guī)范與編程模型中概率組件之間的鴻溝。HYPE 允許狀態(tài)和動(dòng)作既可以是離散的，也可以是連續(xù)的，從而構(gòu)建出一個(gè)通用的規(guī)劃系統(tǒng)。相關(guān)實(shí)證評(píng)估見文獻(xiàn) [9,51]。

總之，HYPE 繼承了 PROBLOG 所展現(xiàn)的所有優(yōu)勢和建模能力。但如前所述，它并未提供專門的動(dòng)作語言，或除用時(shí)間變量索引的常量外表示動(dòng)作的便捷方式。而情況演算（situation calculus）則略有不同，它直接對(duì)動(dòng)態(tài)世界進(jìn)行建模，從而支持更靈活的語言來描述動(dòng)作及其效果——下文將對(duì)此展開討論。

1. ALLEGRO

GOLOG 語言已成功應(yīng)用于涉及控制與規(guī)劃的廣泛領(lǐng)域 [16]，其基礎(chǔ)是一個(gè)簡單的本體論：所有變化均源于命名的動(dòng)作。它是一種建立在“情況演算”（situation calculus）之上的高層智能體編程語言 [12]——情況演算是帶有（部分）二階邏輯特性的一階邏輯方言。初始狀態(tài)描述了各屬性的真值，而動(dòng)作可以以非平凡且情境敏感的方式影響這些真值。特別地，GOLOG 是一種程序模型，其中執(zhí)行動(dòng)作是程序中最基本的指令，更復(fù)雜的迭代和循環(huán)構(gòu)造則在此基礎(chǔ)上定義。例如，一個(gè)用于清空包含未知數(shù)量積木的桌子的程序如下：

為了建模高斯誤差模型，ALLEGRO 對(duì)具有不確定效果的動(dòng)作給出了通用處理方式。一方面，動(dòng)作的效果通過“后繼狀態(tài)公理”（successor state axioms）進(jìn)行公理化，該公理整合了 Reiter 對(duì)框架問題（frame problem）的解決方案 [12]。因此，例如，使用移動(dòng)動(dòng)作改變物體位置可表達(dá)為：

這句話的意思是：如果執(zhí)行了移動(dòng)物體 x 的動(dòng)作，那么它的位置（沿直線方向）會(huì)減少 y 個(gè)單位；而對(duì)于所有其他動(dòng)作，其位置保持不變。為了處理不確定的效果，我們將區(qū)分智能體的意圖與實(shí)際發(fā)生的結(jié)果。也就是說，令 move(x, y, z) 為一種新的動(dòng)作類型，其中 y 是智能體期望實(shí)現(xiàn)的效果，z 是實(shí)際發(fā)生的結(jié)果。那么，后繼狀態(tài)公理可重寫如下：

如上文所暗示的，作為對(duì) GOLOG 的擴(kuò)展，ALLEGRO 的語法旨在以簡潔通用的方式表示完整或部分的計(jì)劃與策略。此前的研究表明，GOLOG 程序能夠控制規(guī)劃搜索空間 [17]，而近期工作則表明，概率動(dòng)作程序是表示遞歸策略的一種更緊湊的方式。在程序終止時(shí)，ALLEGRO 程序可以用于檢驗(yàn)?zāi)繕?biāo)被相信成立的（主觀）概率。

例如，假設(shè)你希望讓一個(gè)帶有噪聲傳感器和執(zhí)行器的機(jī)器人靠近一面墻。機(jī)器人會(huì)移動(dòng)一段距離，但由于動(dòng)作本身存在噪聲，它需要反復(fù)感知以確保自己確實(shí)靠近了墻壁。這種“感知-行動(dòng)”循環(huán)將重復(fù)執(zhí)行，直到機(jī)器人以高概率確信自己已真正靠近墻壁為止。此類協(xié)議對(duì)應(yīng)的 ALLEGRO 程序可能如下所示：

上述程序完整指定了行為，但同時(shí)它捕捉的是一個(gè)非常簡單的例子。更復(fù)雜的問題場景可能涉及未指定的子程序（可能包含規(guī)劃），如文獻(xiàn) [16] 所討論；或者，部分指定的程序可用于定義和約束搜索空間，如文獻(xiàn) [17] 所示。

1. 定性比較

在結(jié)束本文之前，簡要比較這兩種形式化方法的特性與屬性是一個(gè)有趣的練習(xí)。當(dāng)然，讀者可能會(huì)認(rèn)為，若能通過實(shí)證評(píng)估——例如，在一組特定領(lǐng)域內(nèi)對(duì)兩種形式化方法進(jìn)行基準(zhǔn)測試以比較其計(jì)算性能——這樣的比較會(huì)更加豐富。盡管這在特定問題空間中是可行的（并值得在未來考慮），但正如下文將展示的，這兩種語言并非完全可比。

5.1 靜態(tài)建模

我們在此所指的“靜態(tài)建模”，意為捕捉有限組隨機(jī)變量上的概率分布。假設(shè)在一個(gè)命題語言中有若干原子命題（為簡化起見），這些原子被賦予概率，并與非概率性的確定性子句（形式為 h ← b?, ..., b?）結(jié)合使用。例如，以下是用 PROBLOG 編寫的、基于 Pearl [56] 提出的“入室盜竊-地震-警報(bào)”貝葉斯網(wǎng)絡(luò)示例的程序：

讀者現(xiàn)在可以構(gòu)建一組可能世界，以計(jì)算邊緣概率。對(duì)于三個(gè)命題，原則上我們有八個(gè)可能世界。然而，在 PROBLOG 中如何解讀這些原子和規(guī)則時(shí)存在一些需要注意的地方。我們賦予了概率的原子被稱為“概率事實(shí)”（probabilistic facts），應(yīng)與規(guī)則的頭部區(qū)別對(duì)待。實(shí)際上，規(guī)則會(huì)與每個(gè)可能世界（僅由概率原子定義）結(jié)合使用，以判斷規(guī)則頭部是否可被推導(dǎo)出來。基于此，規(guī)則頭部的成功概率即可被計(jì)算。

綜合來看，我們有四個(gè)關(guān)于概率事實(shí) b 和 e 的世界。這些世界的概率是通過將由 b 和 e 構(gòu)成的文字的概率相乘而得到的，并且需理解任何命題 p 及其否定的概率之和必須等于 1。例如，在一個(gè) b 為真而 e 為假的世界中，我們得到的概率是 0.1 × (1 - 0.2)，即 0.08。依此類推，我們有：

1. 世界 b ∧ ?e，其概率為 0.08（如上所述）；

2. 世界 b ∧ e，其概率為 0.1 × 0.2 = 0.02；

3. 世界 ?b ∧ e，其概率為 (1 - 0.1) × 0.2 = 0.18；以及

4. 最后，世界 ?b ∧ ?e，其概率為 (1 - 0.1) × (1 - 0.2) = 0.72。

現(xiàn)在，為了計(jì)算觸發(fā)警報(bào) a 的概率，我們考察每一個(gè)可能世界，并結(jié)合非概率性規(guī)則，查看 a 是否被蘊(yùn)含。很容易看出，這僅在前三個(gè)世界中發(fā)生：在這里，要么入室盜竊為真，要么警報(bào)為真，因此立即可推出 a 成立。因此，觸發(fā)警報(bào)的概率為 0.28。完整的語義處理請參見 [37]。

因此，邏輯程序的語義似乎特別適合于建模貝葉斯網(wǎng)絡(luò) [44]。相比之下，ALLEGRO 的語義基于一階結(jié)構(gòu)上的概率。因此，復(fù)制該網(wǎng)絡(luò)所需的公式集并不完全相同，我們需要稍作調(diào)整。一方面，語義本身并未暗示某些原子不應(yīng)具有概率——這在 PROBLOG 程序的語義中是隱含假設(shè)的。因此，例如，我們可以使用以下公式在 ALLEGRO 中表示該網(wǎng)絡(luò)：

因此，在 ALLEGRO 中，由于存在三個(gè)命題，原則上我們確實(shí)有八個(gè)可能世界。然而，最后一個(gè)公式確保了“b 和 e 為假但 a 為真”的世界是不可能存在的。

現(xiàn)在，若將此與 PROBLOG 的四個(gè)可能世界進(jìn)行對(duì)比，我們可以看到，對(duì)于計(jì)算 a 的概率而言，確實(shí)考慮的是 b 和 e 相同的真值設(shè)定（即前三個(gè)世界）。第四個(gè)世界 ?b ∧ ?e 不可能是 a 為真的世界，這一點(diǎn)已明確建立。然而，世界概率的計(jì)算方式有所不同，但最終得出的規(guī)范是等價(jià)的。例如，這些公式表明：所有 b 為真的世界總概率必須為 0.1。這本質(zhì)上意味著上述第一和第二個(gè)世界（即 (1) 和 (2)）的概率之和應(yīng)為 0.1。同樣，所有 e 為真的世界總概率必須為 0.2，因此第二和第三個(gè)世界（即 (2) 和 (3)）的概率之和應(yīng)為 0.2。通過求解這些約束條件，可以證明警報(bào)被觸發(fā)的概率仍為 0.28。

乍看之下，公式在兩種形式化方法之間需要如此映射似乎有些奇怪，但這并不令人意外。將 PROBLOG 程序翻譯為概率命題理論 [37] 正是依賴于這類步驟來為命題世界分配概率——正如我們剛剛確立的，這需要考慮語言中的所有命題。

當(dāng)然，期望建模語言能根據(jù)具體問題的需求提供合適的表達(dá)能力是完全合理的。顯然，當(dāng)用于刻畫貝葉斯網(wǎng)絡(luò)及其他相關(guān)類型的圖模型時(shí)，PROBLOG 和 HYPE 比指定一階公式上的概率要直接得多。對(duì)于后者，我們需要隱式地確定這些概率如何對(duì)應(yīng)到貝葉斯網(wǎng)絡(luò)或某種其他因子化表示 [57]。

然而，既然 PROBLOG 程序最終會(huì)被翻譯成概率命題理論，人們可以設(shè)想，對(duì)于偏好圖模型的用戶而言，可能存在一種更自然的建模語言。然后，可以通過一個(gè)中間步驟將其翻譯為 ALLEGRO 模型，以便將初始知識(shí)與豐富的動(dòng)作理論結(jié)合使用。此外，有一種情況是，這兩種形式化方法之間的靜態(tài)知識(shí)庫可能無需大量重寫。考慮概率數(shù)據(jù)庫 [58]：最簡單的設(shè)置是元組獨(dú)立概率數(shù)據(jù)庫，其中每個(gè)命題被賦予一個(gè)獨(dú)立的概率，并假設(shè)其與其他命題相互獨(dú)立。在這種情況下，兩種形式化方法的表示幾乎是相同的，因?yàn)槊總€(gè)世界的概率本質(zhì)上都是顯式指定的：它由該世界中所有為真命題的概率乘積得到。

在一點(diǎn)上，這兩種形式化方法存在深刻差異：邏輯程序允許使用歸納定義 [59]。例如，我們可以使用以下兩個(gè)公式來捕捉圖中路徑的歸納定義：

這句話的意思是：每條邊本身就是一個(gè)路徑；如果節(jié)點(diǎn) x 和 y 之間存在一條邊，且從 y 到 z 存在一條路徑，那么從 x 到 z 也存在一條路徑。

ALLEGRO 基于情況演算（situation calculus），該框架允許包含某些二階邏輯特征，例如對(duì)“情境”集合的歸納定義 [12]。然而，在實(shí)踐中，歸納定義很少作為初始知識(shí)庫的一部分被提供。（盡管文獻(xiàn)中確實(shí)有一些相關(guān)研究 [60]。）在此方面，如果用戶主要關(guān)注靜態(tài)知識(shí)的推理，PROLOG 和 HYPE 可能顯得更具吸引力。

5.2 觀測與動(dòng)作

我們此前已討論過，這些語言確實(shí)允許對(duì)動(dòng)態(tài)過程進(jìn)行建模，但主要通過動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)、隱馬爾可夫模型、MDP、POMDP 及其他相關(guān)框架 [29,36] 來實(shí)現(xiàn)。這種建模通常通過為謂詞引入時(shí)間參數(shù)，并在特定數(shù)量的時(shí)間步長內(nèi)進(jìn)行推理來達(dá)成。

然而，與情況演算（situation calculus）等動(dòng)態(tài)語言相比，此類方法使這些語言的功能受到更多限制。在情況演算中，不僅可以定義持續(xù)性動(dòng)作（其中時(shí)間為附加參數(shù)）[61]，還能直接使用命名動(dòng)作來刻畫狀態(tài)的動(dòng)態(tài)變化。因此，它自然地適用于表達(dá)多種規(guī)劃語言 [12]。情況演算還被擴(kuò)展用于推理決策理論模型 [62] 以及 POMDP 的關(guān)系型擴(kuò)展 [20]。其一階邏輯特性也使其成為處理無界數(shù)量對(duì)象和無界時(shí)間序列的理想候選。例如，可以提出如下類型的投影查詢：

— 執(zhí)行動(dòng)作 a? 到 a? 后，φ 是否為真？ — 在整個(gè)序列的每一步中 φ 是否都為真？或者反過來，在序列開始到結(jié)束之間的任意時(shí)刻，φ 是否曾變?yōu)榧伲?— 從當(dāng)前狀態(tài)開始執(zhí)行的任何序列，φ 是否都將保持為真？

因此，人們不僅能在該語言中編寫程序，還可以直接在語言內(nèi)部驗(yàn)證這些程序的屬性 [63]。

此外值得注意的是，動(dòng)作類型本身可能比動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等形式化方法所能提供的功能更強(qiáng)大 [64]。例如，在先前使用的關(guān)于警報(bào)觸發(fā)的貝葉斯網(wǎng)絡(luò)背景下，我們可以編寫能夠以任意方式改變節(jié)點(diǎn)間邊或添加新節(jié)點(diǎn)的動(dòng)作。我們還可以推理動(dòng)作的后果及其間接影響 [65]。

5.3 綜合（合成）與策略執(zhí)行

正如 HYPE 的介紹所明確指出的，該語言主要用于綜合（synthesizing）一個(gè)策略。也就是說，它指定動(dòng)作、效果及噪聲模型，而該形式化體系的目的正是從這些規(guī)范中計(jì)算出一個(gè)策略。我們可以從兩個(gè)方面將此與 ALLEGRO 進(jìn)行對(duì)比：首先，基于信念的程序本身就是策略。因此，執(zhí)行該程序等同于在適當(dāng)表征前提下，執(zhí)行一個(gè) POMDP 策略 [66]。當(dāng)然，這樣的策略同樣也可以被綜合出來。目前已有大量關(guān)于歸納遞歸式程序結(jié)構(gòu)的研究工作 [67]。因此，情況演算提供了一個(gè)全面的框架，可用于推理不同類型的策略并驗(yàn)證其屬性。

5.4 不完整與部分規(guī)范

或許上述所有不同維度本質(zhì)上都在說明表達(dá)能力上的差異。雖然 PROBLOG 和 HYPE 主要提供的是用于指定概率模型的框架，情況演算（situation calculus）則提供了一種更通用的語言，用于推理概率知識(shí)及其動(dòng)態(tài)變化。例如，它允許表達(dá)多個(gè)信念分布、完全或部分地指定程序，并將概率知識(shí)與非概率性的、不完整的知識(shí)相結(jié)合（這進(jìn)而要求使用多個(gè)分布）[68]。

所有這些意味著，情況演算語言的表達(dá)能力要強(qiáng)得多，因?yàn)樗鼰o法被簡化為命題模型。回顧可知，PROBLOG 將其推理歸約為加權(quán)命題公式，而情況演算則對(duì)應(yīng)于模態(tài)一階邏輯 [69]。因此，由于這種強(qiáng)大的表達(dá)能力，可以證明在完整語言中驗(yàn)證屬性是高度不可判定的 [63]。對(duì)于 ALLEGRO 而言，驗(yàn)證屬性相當(dāng)于檢查可能無限多個(gè) POMDP 的性質(zhì)。

當(dāng)然，無需全盤接受這種完整的表達(dá)能力。根據(jù)具體應(yīng)用需求，我們可以選擇使用其某個(gè)片段，或許是一個(gè)與 PROBLOG 和 HYPE 非常相似的片段。這也是知識(shí)表示學(xué)界長期以來一直強(qiáng)調(diào)的觀點(diǎn) [12,16]：有時(shí)，擁有一個(gè)更具表達(dá)力的語言來研究所關(guān)注問題的特性是有益的；隨后，我們會(huì)選擇一個(gè)受限的片段來構(gòu)建當(dāng)前領(lǐng)域的實(shí)際應(yīng)用。

1. 結(jié)論

自動(dòng)規(guī)劃通常部署于具體應(yīng)用情境中，而在高度隨機(jī)和不確定的領(lǐng)域，規(guī)劃模型可能源于復(fù)雜的機(jī)器學(xué)習(xí)與推理流水線，或基于具有未知因素的非平凡狀態(tài)空間定義。本文介紹了兩種概率編程系統(tǒng)，旨在實(shí)現(xiàn)此類流水線。事實(shí)上，將自動(dòng)規(guī)劃與概率編程相結(jié)合，近年來正受到廣泛關(guān)注，例如 [14]。這些語言是通用的，其一階表達(dá)能力不僅能夠簡潔地編碼領(lǐng)域知識(shí)，還能獲得計(jì)算上的優(yōu)勢。

使用概率編程和隨機(jī)規(guī)范時(shí)的一個(gè)關(guān)鍵關(guān)注點(diǎn)在于，大多數(shù)系統(tǒng)通過蒙特卡洛采樣進(jìn)行推理。眾所周知，此類方法只能提供漸近保證，且處理低概率觀測值可能頗具挑戰(zhàn)性。在這方面，近期已出現(xiàn)一些邏輯方法，能夠在混合離散-連續(xù)概率空間中進(jìn)行推理，并對(duì)計(jì)算結(jié)果提供緊致的邊界約束 [45,46,70]。由于 HYPE、ALLEGRO 及許多類似系統(tǒng)均以概率推理作為核心計(jì)算基礎(chǔ)，因此問題在于：上述方法能否為隨機(jī)領(lǐng)域的穩(wěn)健規(guī)劃與編程框架提供支持？

此外，探索與傳統(tǒng)概率編程語言之間更深層次的聯(lián)系也可能帶來額外價(jià)值。例如，在傳統(tǒng)語言中進(jìn)行學(xué)習(xí)的研究已取得相當(dāng)多成果 [71]。同時(shí)，深度學(xué)習(xí)技術(shù)也可作為計(jì)算原語集成到此類語言中，如 Pyro 所示。值得探討的是，這些理念是否能被融入 HYPE 和 ALLEGRO 中，從而統(tǒng)一一階概率推理與學(xué)習(xí)。

原文鏈接：https://royalsocietypublishing.org/doi/pdf/10.1098/rsos.230785