[论文解读] Parameter Learning in PRISM Programs with Continuous Random Variables

Muhammad Asiful Islam, C. R. Ramakrishnan+1 more|arXiv (Cornell University)|Mar 19, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用 4

一句话总结

本文提出了一种基于EM的参数学习算法，用于扩展了高斯随机变量和线性等式约束的PRISM程序。通过使用符号推导来表示无需枚举的证明集合，该方法对离散变量和高斯变量符号化地计算期望充分统计量（ESS），从而在有限高斯混合模型和卡尔曼滤波器等模型中实现高效学习。

ABSTRACT

Probabilistic Logic Programming (PLP), exemplified by Sato and Kameya's PRISM, Poole's ICL, De Raedt et al's ProbLog and Vennekens et al's LPAD, combines statistical and logical knowledge representation and inference. Inference in these languages is based on enumerative construction of proofs over logic programs. Consequently, these languages permit very limited use of random variables with continuous distributions. In this paper, we extend PRISM with Gaussian random variables and linear equality constraints, and consider the problem of parameter learning in the extended language. Many statistical models such as finite mixture models and Kalman filter can be encoded in extended PRISM. Our EM-based learning algorithm uses a symbolic inference procedure that represents sets of derivations without enumeration. This permits us to learn the distribution parameters of extended PRISM programs with discrete as well as Gaussian variables. The learning algorithm naturally generalizes the ones used for PRISM and Hybrid Bayesian Networks.

研究动机与目标

• 将PRISM扩展以支持连续型随机变量（高斯分布及线性约束），以支持复杂的统计模型。
• 解决现有概率逻辑编程（PLP）框架在处理连续分布时的局限性，因其依赖于枚举推导构造。
• 开发一种避免显式枚举推导的参数学习算法，采用符号化表示。
• 将现有的基于EM的PRISM与混合贝叶斯网络学习技术推广至包含连续变量的模型。
• 支持混合模型中离散与高斯分布的结合，如包含混合成分的有限高斯混合模型。

提出的方法

• 扩展PRISM以支持高斯分布的随机变量和线性等式约束，用于建模混合统计系统。
• 引入符号推导，以表示大规模或无限的传统计推导集合，而无需枚举。
• 使用符号积分和代数运算，对离散变量和高斯变量分别符号化地定义期望充分统计量（ESS）函数。
• 在E步中，基于查询推导和证据，符号化地计算ESS值，避免对单条路径进行枚举。
• 在M步中，利用从符号化ESS推导出的闭式更新公式，更新模型参数（如均值、方差、混合权重）。
• 利用PRISM的分布语义以及独立性/互斥性假设，确保符号化ESS计算的正确性。

实验结果

研究问题

• RQ1 符号化推导表示能否在包含连续型随机变量的PRISM程序中实现高效的参数学习？
• RQ2 如何在不枚举推导的情况下，对高斯变量符号化地计算期望充分统计量（ESS）？
• RQ3 所提出的方法在多大程度上推广了现有的基于EM的PRISM与混合贝叶斯网络算法？
• RQ4 该框架能否在涉及连续变量的模型（如有限高斯混合模型和卡尔曼滤波器）中学习参数？
• RQ5 符号化推理对混合概率逻辑程序的可扩展性和正确性有何影响？

主要发现

• 对高斯变量的符号化ESS计算结果与标准EM算法在有限高斯混合模型中使用的后验责任一致。
• 该算法成功学习了具有高斯分量的有限混合模型的参数，其中混合权重、均值和方差的更新均来自符号化ESS。
• 该方法推广了编码在PRISM中的隐马尔可夫模型（HMM）的Baum-Welch算法，表明其与现有统计模型的兼容性。
• 该方法支持混合模型，如同时包含离散与高斯分量的混合模型，其应用范围超越了传统的混合贝叶斯网络。
• 符号化ESS计算避免了对推导的枚举，使得在可能具有无限推导集合的模型中实现学习成为可能。
• 该算法在PRISM的分布语义基础上具有形式化基础，并在独立性和互斥性假设下保持正确性。