[论文解读] Towards Completely Lifted Search-based Probabilistic Inference

David Poole, Fahiem Bacchus+1 more|arXiv (Cornell University)|Jul 20, 2011

Bayesian Modeling and Causal Inference参考文献 13被引用 21

一句话总结

本文提出了一种基于搜索的概率推理框架，可在两种关键情况下实现完全提升推理（完全避免实例化）：当推理在群体规模上为多项式时间时，以及针对参数化随机变量（PRVs）具有零个或一个参数时。对于前者，它展示了在群体规模对数时间内的多项式时间推理；对于后者，则实现了在群体规模上的多项式时间推理，证明了在这些场景下实例化并非根本必要。

ABSTRACT

The promise of lifted probabilistic inference is to carry out probabilistic inference in a relational probabilistic model without needing to reason about each individual separately (grounding out the representation) by treating the undistinguished individuals as a block. Current exact methods still need to ground out in some cases, typically because the representation of the intermediate results is not closed under the lifted operations. We set out to answer the question as to whether there is some fundamental reason why lifted algorithms would need to ground out undifferentiated individuals. We have two main results: (1) We completely characterize the cases where grounding is polynomial in a population size, and show how we can do lifted inference in time polynomial in the logarithm of the population size for these cases. (2) For the case of no-argument and single-argument parametrized random variables where the grounding is not polynomial in a population size, we present lifted inference which is polynomial in the population size whereas grounding is exponential. Neither of these cases requires reasoning separately about the individuals that are not explicitly mentioned.

研究动机与目标

• 探究在关系概率模型中，提升推理算法为何必须实例化未区分个体的根本原因。
• 确定是否可以在所有情况下实现精确的提升推理而无需实例化，特别是针对具有0个或1个参数的参数化随机变量（PRVs）。
• 描述实例化在群体规模上为多项式的时间情况，并证明推理可在群体规模对数时间多项式内完成。
• 开发一种基于搜索的推理算法，避免实例化，同时正确处理在指数级实例化情况下的条件查询。
• 通过识别并解决实例化可避免的关键结构性案例，为完全提升推理奠定基础。

提出的方法

• 采用基于条件推理的搜索方法（如递归条件推理），以避免变量消去方法中因中间表示复杂性带来的问题。
• 使用parfactor表示中间结果，其中每个parfactor是关联计数和概率的参数化随机变量的因子。
• 引入基于上下文的评估机制（eval_parfactor），在给定分配上下文中计算parfactor的贡献，包括对具有共同属性的个体进行计数。
• 应用带约束的分裂与统一操作，以管理参数化变量，实现在不实例化的情况下对个体块进行推理。
• 通过在评估阶段使用组合计数建模每个值上被分配的个体数量分布，将框架扩展至多值PRVs。
• 通过规范化变量名称和在不实例化的情况下求和掉未使用变量，实现缓存和遗忘操作，以保持提升结构。

实验结果

研究问题

• RQ1 在关系概率模型中，是否存在根本原因导致提升推理必须实例化未区分个体？
• RQ2 当实例化原本在群体规模上为多项式时间时，是否可以在群体规模对数时间多项式内完成推理？
• RQ3 对于具有零个或一个参数的参数化随机变量，是否可以在不实例化的情况下，以群体规模的多项式时间完成精确推理，即使实例化为指数时间？
• RQ4 基于搜索的推理方法是否能保持完全提升（无实例化）的同时，正确处理条件查询和复杂依赖关系？
• RQ5 是否存在变量消去类方法无法提升而基于搜索的方法能够成功的结构性条件？

主要发现

• 对于实例化在群体规模上为多项式时间的情况，本文证明推理可在群体规模对数时间多项式内完成，显著提升了效率。
• 对于具有零个或一个参数的参数化随机变量，所提方法在群体规模上实现多项式时间推理，而实例化仍为指数时间，从而展现出明显优势。
• 该算法在所有测试的0-和1-参数PRVs案例中成功避免了实例化，证明了在这些场景下实例化并非必要步骤。
• 通过在评估函数中集成组合计数，框架可推广至多值PRVs，建模每个值上个体数量的分布。
• 通过基于上下文的计数和规范化变量管理，该方法保持了正确性与完全提升，避免了实例化或重新计算个体实例的需要。
• 本文结论指出，对于具有超过一个参数的PRVs，开放问题仍然存在，因为某些复杂情况仍无法实现完全提升，但该框架已为解决这些问题提供了工具。