[论文解读] Tensor Variable Elimination for Plated Factor Graphs

Fritz Obermeyer, Eli Bingham+5 more|arXiv (Cornell University)|Feb 8, 2019

Tensor decomposition and applications被引用 7

一句话总结

本文提出了板化因子图（plated factor graphs），这是因子图的一种推广，通过板（plates）显式编码重复结构，并提出了一种张量变量消去算法，通过利用这种结构实现高效的精确推理。该方法通过基于板大小推导复杂度边界，使具有大量独立同分布变量的模型能够实现可 tractable 推理，并已集成至 Pyro 概率编程语言中，支持在离散隐变量模型中进行可扩展的精确推理。

ABSTRACT

A wide class of machine learning algorithms can be reduced to variable elimination on factor graphs. While factor graphs provide a unifying notation for these algorithms, they do not provide a compact way to express repeated structure when compared to plate diagrams for directed graphical models. To exploit efficient tensor algebra in graphs with plates of variables, we generalize undirected factor graphs to plated factor graphs and variable elimination to a tensor variable elimination algorithm that operates directly on plated factor graphs. Moreover, we generalize complexity bounds based on treewidth and characterize the class of plated factor graphs for which inference is tractable. As an application, we integrate tensor variable elimination into the Pyro probabilistic programming language to enable exact inference in discrete latent variable models with repeated structure. We validate our methods with experiments on both directed and undirected graphical models, including applications to polyphonic music modeling, animal movement modeling, and latent sentiment analysis.

研究动机与目标

• 为解决标准因子图中缺乏对重复结构的紧凑表示的问题，该问题限制了变量消去中的优化。
• 将变量消去推广至直接在板化因子图上操作，利用张量代数实现高效计算。
• 推导出依赖于板大小的推理复杂度边界，以刻画推理在何种情况下仍保持可 tractable。
• 通过集成至 Pyro 概率编程语言，实现在具有独立同分布结构的离散隐变量模型中的高效、精确推理。

提出的方法

• 将板化因子图定义为无向因子图的扩展，通过添加板注释来表示独立且重复的结构。
• 提出张量变量消去，这是求和-乘积变量消去的推广，可在板化因子图上通过张量收缩操作执行。
• 利用张量收缩原语（如 einsum 风格操作）在板上并行执行消息传递和变量消去。
• 使用乘积-约简操作在变量消去后压缩板维度，保持正确性并实现高效计算。
• 设计一种调度算法，尊重板的独立性，以支持变量消去步骤的并行执行。
• 通过 `pyro.plate` 上下文管理器将该算法集成至 Pyro，使用户能够表达板化模型，并通过基于张量的消去执行精确推理，无需手动优化。

实验结果

研究问题

• RQ1 我们能否通过板来显式表示重复结构，从而实现更高效的推理？
• RQ2 张量代数如何用于在板化因子图上直接执行变量消去，同时保持效率和正确性？
• RQ3 板化因子图中推理的复杂度边界是什么？它们如何依赖于板的大小？
• RQ4 我们能否基于结构属性，刻画板化因子图中可 tractable 与不可 tractable 推理之间的边界？
• RQ5 该框架如何集成至概率编程语言中，以实现在具有大规模独立同分布结构的模型中的精确推理？

主要发现

• 所提出的张量变量消去算法通过利用板的独立性并高效执行张量收缩，实现了对具有重复结构的离散隐变量模型的精确推理。
• 与对未展开的因子图直接应用标准变量消去相比，该方法在板大小较大时实现了显著的计算节省，尤其在大规模板结构中优势明显。
• 基于板大小推导出复杂度边界，表明当板化因子图的结构避免高维板交互时，推理仍保持可 tractable。
• 与 Pyro 的集成使用户能够使用 `pyro.plate` 构造编写模型，并通过基于张量的变量消去执行精确推理，而无需手动优化。
• 在多音音乐建模、动物运动和情感分析等真实问题上的实验表明，该方法在具有结构化重复数据的问题上表现出良好的有效性与可扩展性。
• 该框架支持有向和无向图模型，包括条件随机场和贝叶斯网络，当以板化因子图形式表达时均适用。