[论文解读] On Relaxing Determinism in Arithmetic Circuits

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|Aug 22, 2017

Numerical Methods and Algorithms参考文献 16被引用 25

一句话总结

本文正式分析了在算术电路（ACs）中放松确定性的影响，表明去除确定性可在保持线性时间边际计算的同时实现指数级更小的电路。它证明，在非确定性AC中，MPE推理变得不可tractable，尽管在确定性AC中它是可 tractable 的，且证明仅强制满足可分解性即可实现MPE求解，即使在一般情况下可分解电路中MPE是不可tractable的。

ABSTRACT

The past decade has seen a significant interest in learning tractable probabilistic representations. Arithmetic circuits (ACs) were among the first proposed tractable representations, with some subsequent representations being instances of ACs with weaker or stronger properties. In this paper, we provide a formal basis under which variants on ACs can be compared, and where the precise roles and semantics of their various properties can be made more transparent. This allows us to place some recent developments on ACs in a clearer perspective and to also derive new results for ACs. This includes an exponential separation between ACs with and without determinism; completeness and incompleteness results; and tractability results (or lack thereof) when computing most probable explanations (MPEs).

研究动机与目标

• 为通过澄清确定性、可分解性和光滑性等关键属性的角色与语义，提供比较算术电路变体的正式框架。
• 解决文献中关于放松算术电路中确定性影响的不一致和相互矛盾的主张。
• 研究电路大小与推理任务可 tractability 之间的权衡，特别是MPE和边际查询。
• 正式证明确定性、可分解性和光滑性算术电路的线性时间MPE算法的正确性。
• 识别出放松确定性所引发的新形式不完备性——具体而言是参数不完备性——及其对模型编译的影响。

提出的方法

• 将算术电路重构为一般因子的表示（而不仅限于贝叶斯网络分布），从而扩大其适用范围。
• 在一般因子的背景下，引入可分解性、光滑性和确定性的正式定义，明确隔离其各自的作用。
• 采用归约技术表明，在非确定性AC中，MPE计算是NP难的，尽管在确定性AC中它是可 tractable 的。
• 通过从D-MPE（确定性MPE）到D-PR（确定性概率查询）的多项式时间归约，证明在无确定性的可分解且光滑AC中，MPE推理并非可 tractable。
• 证明仅强制满足可分解性即可实现MPE求解，尽管在一般情况下可分解电路中MPE是不可 tractable 的。
• 在重构的满足可分解性、确定性和光滑性的算术电路定义下，提供线性时间MPE算法的正式正确性证明。

实验结果

研究问题

• RQ1 确定性、可分解性和光滑性在算术电路中的精确角色和语义影响是什么？
• RQ2 放松确定性如何影响算术电路在边际计算中的大小和效率？
• RQ3 为何在非确定性算术电路中MPE推理不再可 tractable，该问题的复杂度是什么？
• RQ4 可分解性是否足以实现可 tractable 的MPE推理，如果是，其机制如何？
• RQ5 放松确定性会引发何种形式的不完备性，它如何影响从模型中编译电路？

主要发现

• 放松确定性可在保持线性时间边际计算的同时，使算术电路实现指数级缩小，从而在确定性与非确定性AC之间建立指数级分离。
• 在非确定性算术电路中，MPE推理是NP难的，尽管在确定性AC中它是可 tractable 的，表明推理效率出现显著损失。
• 仅强制满足可分解性即可实现MPE求解，尽管在一般情况下可分解电路中MPE是不可 tractable 的，揭示了可分解性所蕴含的惊人计算能力。
• 放松确定性会导致参数不完备性，即并非所有有效的因子分解都能被表示，这对从贝叶斯网络编译电路具有影响。
• 在重构的算术电路定义下，确定性、可分解性和光滑性AC的线性时间MPE算法被正式证明是正确的。
• 可用于可分解且光滑AC的多项式时间编译算法可用于多项式时间内计算MPE，这意味着除非P = NP，否则MPE在这些电路中并非可 tractable。