[论文解读] Template Based Inference in Symmetric Relational Markov Random Fields

Ariel Jaimovich, Ofer Meshi+1 more|arXiv (Cornell University)|Jun 20, 2012

Bioinformatics and Genomic Networks参考文献 21被引用 41

一句话总结

本文提出了一种基于模板的推理方法，用于对称关系马尔可夫随机场（MRFs），通过将推理复杂度从域大小降低到模型大小，实现了高效的参数学习。通过利用内在对称性，该方法采用模板级别的信念传播，其数学等价于同步环路信念传播，显著提升了大规模蛋白质-蛋白质相互作用网络学习的效率。

ABSTRACT

Relational Markov Random Fields are a general and flexible framework for reasoning about the joint distribution over attributes of a large number of interacting entities. The main computational difficulty in learning such models is inference. Even when dealing with complete data, where one can summarize a large domain by sufficient statistics, learning requires one to compute the expectation of the sufficient statistics given different parameter choices. The typical solution to this problem is to resort to approximate inference procedures, such as loopy belief propagation. Although these procedures are quite efficient, they still require computation that is on the order of the number of interactions (or features) in the model. When learning a large relational model over a complex domain, even such approximations require unrealistic running time. In this paper we show that for a particular class of relational MRFs, which have inherent symmetry, we can perform the inference needed for learning procedures using a template-level belief propagation. This procedure's running time is proportional to the size of the relational model rather than the size of the domain. Moreover, we show that this computational procedure is equivalent to sychronous loopy belief propagation. This enables a dramatic speedup in inference and learning time. We use this procedure to learn relational MRFs for capturing the joint distribution of large protein-protein interaction networks.

研究动机与目标

• 为解决在学习过程中大型关系MRFs中推理的高计算成本问题。
• 利用关系MRFs中的内在对称性，降低推理复杂度。
• 开发一种在模板而非单个实例上操作的可扩展推理方法。
• 实现对大规模领域（如蛋白质-蛋白质相互作用网络）上关系MRFs的实际学习。
• 证明基于模板的推理与同步环路信念传播等价，确保正确性的同时提升效率。

提出的方法

• 该方法采用具有对称结构的关系MRF框架，其中交互作用由模板而非单个实体定义。
• 引入模板级别的信念传播，消息在关系模板上而非单个节点上传递。
• 通过捕捉域内对称性的紧凑表示，计算充分统计量的期望。
• 该过程在数学上等价于同步环路信念传播，保持收敛特性。
• 推理在由关系模型模板结构导出的简化因子图上执行。
• 该方法通过将对称交互聚合为可重用计算单元，避免了对每个实例的单独计算。

实验结果

研究问题

• RQ1 通过利用结构对称性，能否加速对称关系MRFs中的推理？
• RQ2 在对称模型中，模板级别的信念传播是否等价于标准环路信念传播？
• RQ3 所提出的方法能否实现对大规模关系模型（如蛋白质-蛋白质相互作用网络）的可扩展学习？
• RQ4 在对称关系MRFs中，能否将推理的计算复杂度从域大小降低到模型大小？
• RQ5 与标准近似推理相比，基于模板的推理在大规模关系模型中的性能提升如何？

主要发现

• 基于模板的推理通过将计算量从域的大小降低到关系模型的大小，实现了显著的速度提升。
• 该方法在数学上等价于同步环路信念传播，确保了准确性的同时提升了效率。
• 该方法使得在大规模蛋白质-蛋白质相互作用网络上对关系MRFs进行实际学习成为可能，否则将难以实现。
• 推理复杂度随模板和关系的数量增长，而非域中实体的数量。
• 该方法保持了与标准环路信念传播相同的收敛行为，但运行时间显著减少。
• 实验结果表明，该基于模板的方法在大规模关系学习任务中既具备可扩展性又具备准确性。