[论文解读] Structured Factored Inference: A Framework for Automated Reasoning in Probabilistic Programming Languages

Avi Pfeffer, Brian E. Ruttenberg+1 more|arXiv (Cornell University)|Jun 10, 2016

Bayesian Modeling and Causal Inference参考文献 17被引用 3

一句话总结

本文提出了结构化因子推断（SFI），一种用于概率编程语言中自动化概率推断的框架。该框架将复杂模型分解为子模型，对每个子模型应用定制的推断算法，并通过基于因子的传播机制组合结果。SFI 的性能与精确推断相当，同时运行时间显著快于近似方法，在真实世界模型上展现出接近最优的准确率和可扩展性。

ABSTRACT

Reasoning on large and complex real-world models is a computationally difficult task, yet one that is required for effective use of many AI applications. A plethora of inference algorithms have been developed that work well on specific models or only on parts of general models. Consequently, a system that can intelligently apply these inference algorithms to different parts of a model for fast reasoning is highly desirable. We introduce a new framework called structured factored inference (SFI) that provides the foundation for such a system. Using models encoded in a probabilistic programming language, SFI provides a sound means to decompose a model into sub-models, apply an inference algorithm to each sub-model, and combine the resulting information to answer a query. Our results show that SFI is nearly as accurate as exact inference yet retains the benefits of approximate inference methods.

研究动机与目标

• 解决大规模、复杂真实世界模型中概率推断的计算瓶颈问题。
• 通过支持自动化、模型感知的推断策略组合，减轻手动选择和配置算法的负担。
• 提供一个可靠且语义基础坚实的框架，用于将概率模型分解为具有可控接口的子模型。
• 通过在不同子模型上结合精确与近似方法，实现混合推断，从而提升速度与准确率。
• 为概率编程中通用、可扩展的自动化推断系统奠定基础。

提出的方法

• 利用概率编程语义识别模型中的分解点，实现结构化子模型的提取。
• 对每个子模型独立应用推断算法，将其简化为与查询相关变量的联合分布。
• 使用因子表示并传播子模型之间的结果，实现推断结果的一致性组合。
• 采用启发式策略，根据结构复杂度（如树宽、因子大小）指导每个子模型的算法选择。
• 通过在不同子模型上结合精确方法（如变量消除）与近似方法（如吉布斯采样、信念传播），支持混合推断。
• 采用分层分解策略，构建接口大小最小化的子模型，提升可扩展性。

实验结果

研究问题

• RQ1 能否通过框架自动将复杂概率模型分解为子模型，以实现高效推断？
• RQ2 在不同子模型上结合精确与近似推断算法，能否同时实现高准确率与快速性能？
• RQ3 分解粒度与推断策略的选择如何影响推断的效率与准确率？
• RQ4 SFI 中基于启发式的算法选择能否在真实世界模型上超越单体推断方法？
• RQ5 SFI 在多大程度上能减少概率建模中手动调整算法的需求？

主要发现

• 混合 SFI 策略（VE/BP–15）的运行时间快于平面 BP–30 和平面 VE，同时准确率差异可忽略不计。
• 在地震监测模型上，分层 VE 的运行时间优于混合策略，表明手工设计的消除顺序可超越启发式方法。
• SFI 框架成功完成了地震模型的所有测试，而完整 VE 因内存限制失败，证明了其鲁棒性。
• 混合方法（VE/BP–30）的准确率高于平面 BP–30，且运行时间快于平面 VE，显示出在准确率与速度上的双重优势。
• 即使采用简单的启发式策略，SFI 的性能也几乎与精确推断相当，且快于标准的近似方法。
• 该框架使在精确方法因内存或时间限制而失效的模型上实现可扩展推断成为可能。