[论文解读] New Liftable Classes for First-Order Probabilistic Inference

Seyed Mehran Kazemi, Angelika Kimmig+2 more|ORCA Online Research @Cardiff (Cardiff University)|Oct 26, 2016

Bayesian Modeling and Causal Inference被引用 19

一句话总结

本文通過重新激活長期被視為冗餘的域遞歸推理規則，引入了新的可提升類別——S²FO² 和 S²RU，從而實現了對此前難以處理的模型（包括 S4 問題和生日悖論）的多項式時間推理。作者證明，域遞歸顯著擴展了域可提升推理的範圍，超越了以往的類別。

ABSTRACT

Statistical relational models provide compact encodings of probabilistic dependencies in relational domains, but result in highly intractable graphical models. The goal of lifted inference is to carry out probabilistic inference without needing to reason about each individual separately, by instead treating exchangeable, undistinguished objects as a whole. In this paper, we study the domain recursion inference rule, which, despite its central role in early theoretical results on domain-lifted inference, has later been believed redundant. We show that this rule is more powerful than expected, and in fact significantly extends the range of models for which lifted inference runs in time polynomial in the number of individuals in the domain. This includes an open problem called S4, the symmetric transitivity model, and a first-order logic encoding of the birthday paradox. We further identify new classes S2FO2 and S2RU of domain-liftable theories, which respectively subsume FO2 and recursively unary theories, the largest classes of domain-liftable theories known so far, and show that using domain recursion can achieve exponential speedup even in theories that cannot fully be lifted with the existing set of inference rules.

研究动机与目标

• 重新評估長期被視為冗餘的域遞歸推理規則，並展示其在擴展域可提升推理範圍方面的強大能力。
• 解決一階機率推理領域的開放問題，包括 S4 模型和對稱傳遞性模型，這些模型此前缺乏高效的推理方法。
• 正式定義並證明新可提升類別 S²FO² 和 S²RU 的存在，這些類別涵蓋了現有的 FO² 和遞歸單元（RU）類別。
• 展示即使在先前推理規則無法完全可提升的理論中，域遞歸也能實現指數級速度提升。
• 建立基於 WFOMC 的推理機制，結合域遞歸，支持這些新類別的多項式時間推理，從而實現對分割函數的高效計算。

提出的方法

• 重新激活並形式化域遞歸規則，通過固定一個個體並將問題簡化為規模更小的實例，實現對域大小的歸納。
• 以加權一階模型計數（WFOMC）作為基礎形式化語言，用於表示和推理 SRL 模型，從而實現對推理複雜度的精確分析。
• 遞歸應用域遞歸以縮小子問題的域大小，並快取 WFOMC 結果以避免重複計算，從而確保多項式時間複雜度。
• 通過擴展 FO² 和 RU 並引入一組新的文字（α(S)），定義新類別 S²FO² 和 S²RU，從而有效支持域遞歸的應用。
• 結合使用提升的案例分析與分解規則，與域遞歸協同作用，以處理複雜的邏輯結構，同時保持域可提升的複雜度特性。
• 通過證明在應用該規則後，所得子理論與原理論同構但人口規模更小，從而證明其在域遞歸下的封閉性，支持遞歸應用。

实验结果

研究问题

• RQ1 能否證明域遞歸推理規則的威力超過以往認知，從而實現對已知可提升類別之外模型的域可提升推理？
• RQ2 域遞歸是否能實現對 S4 模型的多項式時間推理？這是一個一階機率推理領域的開放問題。
• RQ3 域遞歸能否用於定義新的、更大的域可提升理論類別，從而涵蓋現有的 FO² 和 RU 類別？
• RQ4 在現有推理規則無法完全可提升的模型中，是否能通過域遞歸實現指數級速度提升？
• RQ5 生日悖論能否以一階邏輯編碼，並通過基於域遞歸的推理實現高效計算？

主要发现

• 域遞歸規則使 S4 模型實現了域可提升推理，從而解決了 Beame 等人 [3] 提出的開放問題。
• 即使不屬於 FO² 或 RU，對稱傳遞性模型也被證明具有域可提升性，其證明依賴於域遞歸。
• 生日悖論可被編碼為一階邏輯，並通過域遞歸實現高效計算，相較於基於接地的方法實現了指數級速度提升。
• 新類別 S²FO² 和 S²RU 已正式定義並證明其在域遞歸下封閉，其中 S²FO² 涵蓋 FO²，S²RU 涵蓋 RU。
• 證明了現有精確提升推理算法在處理 S²FO² 或 S²RU 中的理論（但不屬於 FO² 或 RU）時，其運行時間相比所提出的域遞歸方法呈指數級慢化。
• 本文確立了即使在先前推理規則無法完全可提升的理論中，域遞歸仍能實現指數級速度提升，從而證明其在提升推理複雜度方面的基礎性作用。