[论文解读] Probabilistic Graphical Models and Tensor Networks: A Hybrid Framework

Jacob Miller, Geoffrey Roeder+1 more|arXiv (Cornell University)|Jun 29, 2021

Quantum many-body systems参考文献 38被引用 4

一句话总结

本文提出退相干玻恩机（DBMs），一种混合概率模型，通过引入物理中的退相干概念实现量子类干涉，统一了概率图模型（PGMs）与张量网络（TNs）。证明了完全退相干的玻恩机等价于离散马尔可夫随机场（UGM），且任意UGM子图均可实现为退相干玻恩机，从而在保持条件独立性的同时结合两类框架的表示能力，并在序列建模任务中实现经验性能提升。

ABSTRACT

We investigate a correspondence between two formalisms for discrete probabilistic modeling: probabilistic graphical models (PGMs) and tensor networks (TNs), a powerful modeling framework for simulating complex quantum systems. The graphical calculus of PGMs and TNs exhibits many similarities, with discrete undirected graphical models (UGMs) being a special case of TNs. However, more general probabilistic TN models such as Born machines (BMs) employ complex-valued hidden states to produce novel forms of correlation among the probabilities. While representing a new modeling resource for capturing structure in discrete probability distributions, this behavior also renders the direct application of standard PGM tools impossible. We aim to bridge this gap by introducing a hybrid PGM-TN formalism that integrates quantum-like correlations into PGM models in a principled manner, using the physically-motivated concept of decoherence. We first prove that applying decoherence to the entirety of a BM model converts it into a discrete UGM, and conversely, that any subgraph of a discrete UGM can be represented as a decohered BM. This method allows a broad family of probabilistic TN models to be encoded as partially decohered BMs, a fact we leverage to combine the representational strengths of both model families. We experimentally verify the performance of such hybrid models in a sequential modeling task, and identify promising uses of our method within the context of existing applications of graphical models.

研究动机与目标

• 弥合概率图模型（PGMs）与张量网络（TNs）之间的差距，特别是在利用量子启发干涉建模复杂相关性方面。
• 解决标准PGM工具与通用TN模型（如玻恩机，BMs）之间的不兼容性，后者使用复值隐状态并表现出非经典相关性。
• 通过利用物理中的退相干概念，构建一个将量子类干涉与经典条件独立性相结合的系统性框架。
• 证明所得到的混合模型——退相干玻恩机（DBMs）——既能表示UGMs，也能表示更一般的基于张量网络的模型，同时保持条件独立性。
• 在具有周期结构的数据上，通过实证验证DBMs相较于标准UGMs在序列建模任务中的性能优势。

提出的方法

• 通过在玻恩机（BM）模型中应用退相干，引入混合形式化，将复值潜变量转化为经典概率分布，方法是使用复制张量。
• 使用复制张量作为退相干算符，使基向量可在边上被复制，从而以类似于PGMs的方式对潜变量进行条件化。
• 证明完全退相干BM将产生一个离散UGM，且任意UGM子图可表示为退相干BM，建立双向对应关系。
• 将退相干玻恩机（DBMs）家族定义为部分退相干的TN模型，其在某些区域保持量子干涉，而在其他区域强制实现经典条件独立性。
• 利用张量网络与PGMs的图形演算，确保当在退相干边的割集上进行条件化时，DBMs满足条件独立性性质 $X_A \perp X_B \mid Z_C$。
• 在JAX中实现并训练DBM与UGM模型，基于扁平化的隐马尔可夫模型（HMM）结构，优化Bars and Stripes数据集上的边缘似然。

实验结果

研究问题

• RQ1 退相干概念能否系统性地统一PGMs与TNs，同时保持经典条件独立性与量子启发干涉？
• RQ2 在后者的潜变量为复值的情况下，离散UGMs与张量网络模型之间是否存在正式对应关系？
• RQ3 能否构建一种混合模型，结合玻恩机的表示能力与UGMs的可解释性及推理工具？
• RQ4 所得到的混合模型——退相干玻恩机（DBMs）——是否在具有周期结构的序列数据上优于标准UGMs？
• RQ5 在不损失可解释性或推理兼容性的前提下，能否在经典概率建模框架中有效利用张量网络中的量子干涉效应？

主要发现

• 完全退相干玻恩机（BM）将产生一个离散马尔可夫随机场（UGM），建立了两者之间的正式单向对应关系。
• 任意离散UGM的子图均可表示为退相干BM，证明了反向对应关系，并表明DBMs在表达UGMs方面具有足够的表达能力。
• 退相干操作强制实现条件独立性：对于任意退相干边的割集，模型满足 $X_A \perp X_B \mid Z_C$，从而可应用标准PGM推理技术。
• 在Bars and Stripes数据集上，DBM在保留数据上的平均负对数似然（NLL）低于等价UGM，且随着模型容量增加，性能差距进一步扩大。
• 随着隐藏状态数 $N$ 增加，DBM的训练速度优于UGM，表明其在周期性或结构化数据上具有更优的优化动力学。
• 结果表明，DBMs在建模具有长期周期行为的真实世界过程（如地球物理信号或周期性人体运动）方面具有显著优势。