[论文解读] The Computational Complexity of Sensitivity Analysis and Parameter Tuning

Johan Kwisthout, Linda C. van der Gaag|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用 15

一句话总结

本文確立了概率網絡中敏感性分析與參數調校的計算複雜度，證明這些問題的一般變體為 NPPP-完全。此外，本文顯示受限形式仍為 NP-完全或 PP-完全，揭示了在貝葉斯網絡與類似模型中，這些任務可擴展算法設計的根本限制。

ABSTRACT

While known algorithms for sensitivity analysis and parameter tuning in probabilistic networks have a running time that is exponential in the size of the network, the exact computational complexity of these problems has not been established as yet. In this paper we study several variants of the tuning problem and show that these problems are NPPP-complete in general. We further show that the problems remain NP-complete or PP-complete, for a number of restricted variants. These complexity results provide insight in whether or not recent achievements in sensitivity analysis and tuning can be extended to more general, practicable methods.

研究动机与目标

• 確立概率網絡中敏感性分析與參數調校的精確計算複雜度。
• 評估這些問題的已知指數時間算法是否可被改進，或是否受複雜度界束縛而本質上受限。
• 分類各種問題變體的複雜度，包括調校與敏感性分析的受限與一般形式。
• 為將近期敏感性分析進展擴展至更廣泛、更具實用性的應用提供理論洞見。
• 明確在標準複雜度假設下，這些問題是否存在高效（多項式時間）算法在理論上是否可能。

提出的方法

• 在機率圖模型中形式化參數調校與敏感性分析問題的多種變體。
• 將已知的 NP-完全與 PP-完全問題歸約至調校與敏感性分析問題，以建立複雜度的下界。
• 使用基於神諭的複雜度類別（特別是 NPPP）來描述一般設定下完整問題的複雜度。
• 透過對網路或參數空間施加結構約束，分析受限變體。
• 應用複雜度理論技術，證明在適當假設下，每一種變體的完備性結果。
• 利用計算複雜度理論的成果，推導出對算法設計與可擴展性的影響。

实验结果

研究问题

• RQ1 概率網絡中一般參數調校問題的精確計算複雜度為何？
• RQ2 是否存在仍具計算可適性的敏感性分析與參數調校受限變體？
• RQ3 在標準複雜度假設下，這些問題的已知指數時間算法能否被改進為多項式時間？
• RQ4 對網路或參數空間施加結構約束如何影響調校與敏感性分析的複雜度？
• RQ5 NPPP-完備性對貝葉斯網絡推理中可擴展方法設計有何影響？

主要发现

• 概率網絡中一般參數調校問題為 NPPP-完全，顯示其具有高度計算不可行性。
• 調校問題的若干受限變體仍為 NP-完全，顯示即使簡化情況也難以高效求解。
• 其他受限變體被證明為 PP-完全，強調計算機率敏感度度量的本質困難。
• 結果顯示，除非多項式層次崩潰，否則這些問題不存在多項式時間算法。
• 複雜度界顯示，將現有敏感性分析技術擴展至大型或即時應用存在根本限制。
• 研究結果為理解現有與未來貝葉斯網絡推理算法可擴展性的理論基礎提供了依據。