[论文解读] Sufficient-Statistic Memory AMP

Lei Liu, Shunqi Huang+3 more|arXiv (Cornell University)|Dec 31, 2021

Distributed Sensor Networks and Detection Algorithms被引用 6

一句话总结

本文提出了一种新的算法框架——充分统计量记忆AMP（SS-MAMP），用于在大型随机线性系统中进行信号重建。该框架在右酉不变测量矩阵、Lipschitz连续局部处理器以及充分统计量约束条件下，保证了状态演化过程的收敛性。主要贡献在于：SS-MAMP确保了L-带状且收敛的协方差矩阵，在状态演化具有唯一不动点时可实现贝叶斯最优性能。

ABSTRACT

Approximate message passing (AMP) type algorithms have been widely used in the signal reconstruction of certain large random linear systems. A key feature of the AMP-type algorithms is that their dynamics can be correctly described by state evolution. While state evolution is a useful analytic tool, its convergence is not guaranteed. To solve the convergence problem of the state evolution of AMP-type algorithms in principle, this paper proposes a sufficient-statistic memory AMP (SS-MAMP) algorithm framework under the conditions of right-unitarily invariant sensing matrices, Lipschitz-continuous local processors and the sufficient-statistic constraint (i.e., the current message of each local processor is a sufficient statistic of the signal vector given the current and all preceding messages). We show that the covariance matrices of SS-MAMP are L-banded and convergent, which is an optimal framework (from the local MMSE/LMMSE perspective) for AMP-type algorithms given the Lipschitz-continuous local processors. Given an arbitrary MAMP, we can construct an SS-MAMP by damping, which not only ensures the convergence of the state evolution, but also preserves the orthogonality, i.e., its dynamics can be correctly described by state evolution. As a byproduct, we prove that the Bayes-optimal orthogonal/vector AMP (BO-OAMP/VAMP) is an SS-MAMP. As an example, we construct a sufficient-statistic Bayes-optimal MAMP (SS-BO-MAMP) whose state evolution converges to the minimum (i.e., Bayes-optimal) mean square error (MSE) predicted by replica methods when it has a unique fixed point. In addition, the MSE of SS-BO-MAMP is not worse than the original BO-MAMP. Finally, simulations are provided to support the theoretical results.

研究动机与目标

• 解决在大型随机线性系统中，近似消息传递（AMP）类算法在状态演化过程中缺乏收敛性保证的问题。
• 开发一种框架，确保状态演化收敛，同时保持准确动力学追踪所必需的正交性和高斯性。
• 建立一种通用的算法结构，在副本方法预测下实现最小均方误差（MMSE）最优性。
• 证明现有最优算法（如BO-OAMP/VAMP）是所提出的SS-MAMP框架的特例。
• 在框架内构造一种新算法SS-BO-MAMP，其状态演化收敛至贝叶斯最优MSE，且性能不劣于原始算法。

提出的方法

• 在右酉不变测量矩阵、Lipschitz连续局部处理器以及充分统计量约束条件下，提出充分统计量记忆AMP（SS-MAMP）框架。
• 定义充分统计量约束，使得每个局部处理器的当前消息是给定所有先前消息下信号向量的充分统计量。
• 证明在此框架下，状态演化的协方差矩阵为L-带状且收敛。
• 证明任意MAMP均可通过阻尼变换为SS-MAMP，同时保持正交性并确保收敛性。
• 利用该框架构造一种充分统计量贝叶斯最优MAMP（SS-BO-MAMP），其状态演化收敛至副本方法预测的贝叶斯最优MSE。
• 利用协方差矩阵的L-带状结构，实现高效计算，并支持收敛性和最优性的理论分析。

实验结果

研究问题

• RQ1 能否设计一种通用的AMP类算法框架，以保证状态演化收敛，同时保持其分析可 tractability？
• RQ2 在一般随机矩阵集合下，充分统计量约束是否能确保基于记忆的AMP算法实现收敛与最优性？
• RQ3 贝叶斯最优的OAMP/VAMP算法是否为所提SS-MAMP框架的特例？
• RQ4 能否在SS-MAMP框架内构造一种新算法，实现贝叶斯最优性能且保证收敛？
• RQ5 阻尼在将非收敛MAMP转换为收敛SS-MAMP的过程中起什么作用，且不会破坏状态演化结构？

主要发现

• 在充分统计量约束和右酉不变测量矩阵条件下，SS-MAMP的协方差矩阵被证明为L-带状且收敛。
• 当不动点唯一时，SS-MAMP的状态演化收敛至副本方法预测的最小均方误差（MSE），实现贝叶斯最优性。
• 正式证明了贝叶斯最优的OAMP/VAMP（BO-OAMP/VAMP）是SS-MAMP的一个实例，从而解释了其已知的收敛性与最优性特征。
• 可将阻尼应用于任意MAMP，将其转换为SS-MAMP，从而确保收敛性，同时保持状态演化有效。
• 所构建的SS-BO-MAMP在性能上与原始BO-MAMP相当或更优，且保证收敛至贝叶斯最优MSE。
• 仿真结果验证了理论分析，展示了在病态条件矩阵的大规模系统中，收敛性与性能增益的显著提升。