[论文解读] Self-Averaging Expectation Propagation

Burak Çakmak, Manfred Opper+2 more|VBN Forskningsportal (Aalborg Universitet)|Aug 23, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用 7

一句话总结

本文提出了一种自平均化期望传播（EP）方法，通过利用随机矩阵理论和自由概率论，消除了大规模贝叶斯推断中昂贵的矩阵求逆运算。通过假设 i.i.d. 或结构化的随机测量矩阵，该方法利用极限特征值分布的 R-变换和 S-变换计算洞穴方差，实现了无需迭代的预计算近似，从而在保持非线性压缩感知高精度的同时，超越了标准 i.i.d. AMP 框架的适用范围。

ABSTRACT

We investigate the problem of approximate Bayesian inference for a general class of observation models by means of the expectation propagation (EP) framework for large systems under some statistical assumptions. Our approach tries to overcome the numerical bottleneck of EP caused by the inversion of large matrices. Assuming that the measurement matrices are realizations of specific types of ensembles we use the concept of freeness from random matrix theory to show that the EP cavity variances exhibit an asymptotic self-averaging property. They can be pre-computed using specific generating functions, i.e. the R- and/or S-transforms in free probability, which do not require matrix inversions. Our approach extends the framework of (generalized) approximate message passing -- assumes zero-mean iid entries of the measurement matrix -- to a general class of random matrix ensembles. The generalization is via a simple formulation of the R- and/or S-transforms of the limiting eigenvalue distribution of the Gramian of the measurement matrix. We demonstrate the performance of our approach on a signal recovery problem of nonlinear compressed sensing and compare it with that of EP.

研究动机与目标

• 为克服由于重复矩阵求逆导致的期望传播（EP）在大规模系统中的计算瓶颈。
• 将广义近似消息传递（GAMP）框架扩展至非 i.i.d. 测量矩阵，推广至一般随机矩阵集合。
• 开发一种可扩展的 EP 变体，通过自由概率理论中的生成函数预计算洞穴方差。
• 建立在大尺寸、平衡随机矩阵的渐近极限下，EP 洞穴方差呈现自平均特性的条件。
• 在具有多种类型随机矩阵的非线性压缩感知问题上验证该方法。

提出的方法

• 利用随机矩阵理论中的渐近自由性概念，分析大规模系统中 EP 洞穴方差的极限行为。
• 应用测量矩阵 Gramian 矩阵极限特征值分布的 R-变换和 S-变换，计算洞穴方差，无需矩阵求逆。
• 使用生成函数推导 EP 更新的固定点方程，替代迭代矩阵求逆。
• 假设一种“民主秩序”，即所有潜变量贡献相同，从而支持基于中心极限定理的近似。
• 将标准 EP 中的迭代矩阵求逆替换为基于测量矩阵谱性质预计算的标量值。
• 采用自平均化近似，使得洞穴方差在大 N 极限下收敛至与具体实现无关的确定性值。

实验结果

研究问题

• RQ1 在 i.i.d. 元素之外的一般随机矩阵集合下，EP 中的洞穴方差是否可实现自平均化？
• RQ2 R-变换和 S-变换在多大程度上可替代 EP 中的矩阵求逆？
• RQ3 与标准 EP 相比，自平均化 EP 方法在非线性压缩感知中的表现如何？
• RQ4 在何种条件下，洞穴方差的渐近近似可实现高精度与稳定性？
• RQ5 该方法能否推广至结构化随机矩阵，同时保持精度与可扩展性？

主要发现

• 当测量矩阵服从特定随机集合时，EP 中的洞穴方差在大系统极限下呈现自平均特性，从而可实现无需矩阵求逆的预计算。
• Gramian 矩阵极限特征值分布的 R-变换和 S-变换可完全确定洞穴方差，替代迭代矩阵运算。
• 该方法在非线性压缩感知中性能与标准 EP 相当，但计算成本显著降低。
• 通过谱特性表征，该方法将 GAMP 框架推广至更广泛的随机矩阵集合，超越 i.i.d. 矩阵。
• 在“民主秩序”假设下，自平均特性成立，即无潜变量主导系统。
• 数值结果表明，自平均化 EP 方法收敛速度更快，且在大 α = N/K 条件下具有更好的可扩展性。