[论文解读] Tractable Querying and Learning in Hybrid Domains via Sum-Product Networks

Andreas Bueff, Stefanie Speichert+1 more|arXiv (Cornell University)|Jul 14, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用 11

一句话总结

本文提出了一种将求和-乘积网络（SPNs）与加权模型积分（WMI）相结合的框架，通过任意形状密度函数的分段多项式近似，在混合离散-连续领域中实现可 tractable 的学习与查询。通过利用命题抽象并最小化对现有 SPN 结构学习的干扰，该方法支持对复杂区间查询的高效、精确推理，在连续特征的可扩展、非参数化建模下实现高预测性能。

ABSTRACT

Probabilistic representations, such as Bayesian and Markov networks, are fundamental to much of statistical machine learning. Thus, learning probabilistic representations directly from data is a deep challenge, the main computational bottleneck being inference that is intractable. Tractable learning is a powerful new paradigm that attempts to learn distributions that support efficient probabilistic querying. By leveraging local structure, representations such as sum-product networks (SPNs) can capture high tree-width models with many hidden layers, essentially a deep architecture, while still admitting a range of probabilistic queries to be computable in time polynomial in the network size. The leaf nodes in SPNs, from which more intricate mixtures are formed, are tractable univariate distributions, and so the literature has focused on Bernoulli and Gaussian random variables. This is clearly a restriction for handling mixed discrete-continuous data, especially if the continuous features are generated from non-parametric and non-Gaussian distribution families. In this work, we present a framework that systematically integrates SPN structure learning with weighted model integration, a recently introduced computational abstraction for performing inference in hybrid domains, by means of piecewise polynomial approximations of density functions of arbitrary shape. Our framework is instantiated by exploiting the notion of propositional abstractions, thus minimally interfering with the SPN structure learning module, and supports a powerful query interface for conditioning on interval constraints. Our empirical results show that our approach is effective, and allows a study of the trade off between the granularity of the learned model and its predictive power.

研究动机与目标

• 解决现有 SPN 框架在混合数据中对连续变量依赖受限参数分布（如高斯分布、伯努利分布）的局限性。
• 在混合离散-连续领域中，实现对复杂区间约束的可 tractable、精确的概率推理。
• 通过任意密度形状的分段多项式近似，支持连续特征的非参数化建模。
• 通过最小化架构修改，保持与现有 SPN 结构学习流水线的兼容性。
• 通过加权模型积分提供可扩展、查询高效的接口，用于连续和混合分布的推理。

提出的方法

• 该框架通过将标准单变量叶节点分布替换为任意连续密度函数的分段多项式近似，扩展了 SPN 结构学习。
• 采用加权模型积分（WMI）作为推理的计算抽象，将区间映射为命题逻辑原子。
• 使用命题抽象将 WMI 与 SPN 推理接口化，通过现有命题求解器实现高效计算。
• 该方法支持查询中任意区间约束，包括与密度近似分箱不对齐的重叠和嵌套区间。
• 该方法支持端到端无监督学习 SPN 的非参数化连续组件，同时保持可 tractable 性。
• 通过调整多项式近似的粒度和阶数，系统支持参数化与非参数化密度建模。

实验结果

研究问题

• RQ1 SPNs 是否可被扩展以建模指数族之外的任意连续分布，如非高斯或非参数密度？
• RQ2 在混合领域中支持连续变量的复杂区间查询时，如何保持可 tractable 推理？
• RQ3 与 SPN 中的标准参数假设相比，使用分段多项式近似在建模精度上有多大提升？
• RQ4 WMI 与 SPNs 的集成是否能实现对涉及离散和连续变量的复杂条件查询的高效、精确推理？
• RQ5 在实践中，模型粒度（分箱数、多项式阶数）与预测性能之间的权衡如何体现？

主要发现

• 所提出的 WMISPN 框架在混合数据集上实现了高预测性能，归一化对数似然值与基线 SPN 方法相当或更优。
• 复杂查询的推理时间保持在纳秒级别，且随查询长度增加呈线性增长，展现出高效性与可扩展性。
• 系统支持丰富的区间查询，包括混合连续与离散原子，性能无显著下降。
• 在每特征 5 个分箱时，模型为 Cloud 数据集中像素均值特征的第一个分箱学习到 3 次多项式近似，而在 15 个分箱时达到 4 次多项式，显示出自适应粒度。
• 该框架在不牺牲可 tractable 性的前提下，实现了连续特征的非参数化建模，通过分段多项式近似支持任意密度形状。
• 实证结果证实，模型粒度与预测能力之间的权衡得到有效平衡，更高分箱数下建模保真度显著提升。