[论文解读] The Sum-Product Theorem: A Foundation for Learning Tractable Models

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|Nov 11, 2016

Bayesian Modeling and Causal Inference参考文献 42被引用 8

一句话总结

本文提出了求和-乘积定理，这是一种统一原则，通过要求每个乘积中的因子具有不相交的作用域，从而保证在任意半环上实现可 tractable 推断。该定理通过在训练过程中强制执行此条件，使能够学习表达性强、高树宽的模型——例如可在多项式时间内优化的非凸函数——显著优于忽略优化成本的标准学习方法。

ABSTRACT

Inference in expressive probabilistic models is generally intractable, which makes them difficult to learn and limits their applicability. Sum-product networks are a class of deep models where, surprisingly, inference remains tractable even when an arbitrary number of hidden layers are present. In this paper, we generalize this result to a much broader set of learning problems: all those where inference consists of summing a function over a semiring. This includes satisfiability, constraint satisfaction, optimization, integration, and others. In any semiring, for summation to be tractable it suffices that the factors of every product have disjoint scopes. This unifies and extends many previous results in the literature. Enforcing this condition at learning time thus ensures that the learned models are tractable. We illustrate the power and generality of this approach by applying it to a new type of structured prediction problem: learning a nonconvex function that can be globally optimized in polynomial time. We show empirically that this greatly outperforms the standard approach of learning without regard to the cost of optimization.

研究动机与目标

• 统一并推广各类问题中的可 tractable 推断，包括概率推理、约束满足、优化和数据库查询。
• 识别出在任意半环上实现可 tractable 求和的最小且充分条件：乘积中所有因子的作用域不相交。
• 开发一种通用算法，通过强制执行不相交作用域条件，在任意半环中学习可 tractable 表示。
• 在一项新颖的结构化预测任务上展示该方法的强大能力：学习可在多项式时间内全局优化的非凸函数。
• 表明现有结果（如可 tractable 马尔可夫逻辑和SPN）均为所提定理的推论。

提出的方法

• 提出求和-乘积定理：若每个乘积中所有因子的作用域不相交，则在半环上的求和是可 tractable 的。
• 定义一种通用推理算法，通过在具有不相交作用域的分解树上使用动态规划，计算任意半环上的求和。
• 开发一种学习算法，在训练时强制执行不相交作用域条件，以确保所有学习到的模型本质上都是可 tractable 的。
• 通过学习一种最小-和函数（MSF）将结构化预测框架化，该函数将非凸目标分解为更小的、可独立优化的组件。
• 利用相关性和k均值聚类进行变量聚类以指导分解，并通过多起点L-BFGS评估叶节点，以模拟学习到的子函数。
• 采用基于阈值的剪枝策略（阈值t=30，v=2）以控制模型复杂度并避免过拟合。

实验结果

研究问题

• RQ1 是否存在一个单一、统一的条件，可确保在各类归约为半环上求和的问题中实现可 tractable 推断？
• RQ2 在任意半环中，强制乘积因子具有不相交作用域是否能保证可 tractable 性，无论模型表达能力或树宽如何？
• RQ3 该条件能否被用于学习可在多项式时间内全局优化的非凸函数？
• RQ4 与不考虑优化成本的端到端连续函数学习相比，学习可 tractable 分解结构的性能如何？
• RQ5 在概率建模和约束满足领域中，哪些现有结果可被求和-乘积定理所涵盖？

主要发现

• 求和-乘积定理表明，在任意交换半环中，乘积因子的作用域不相交即足以实现可 tractable 求和，为可 tractable 推断提供了统一基础。
• 所提出的算法成功捕捉到高度多峰测试函数（Rastrigin函数的变体）的结构分解，实现了高效的全局优化。
• 学习到的最小-和函数（MSF）在相同时间预算下，相比直接优化原函数，能发现显著更低的极小值。
• 即使叶函数完全已知，该方法在优化性能上仍优于不考虑优化成本的标准学习方法。
• 该框架推广并简化了先前结果，包括可 tractable 马尔可夫逻辑和朴素贝叶斯网络的可 tractable 性，均为该定理的推论。
• 实证结果表明，优化具有不相交作用域的子函数比优化完整函数探索的模式数呈指数级减少，从而更快收敛至全局极小值。