[论文解读] Sparse Estimation with the Swept Approximated Message-Passing Algorithm

Andre Manoel, Florent Krząkała+2 more|arXiv (Cornell University)|Jun 17, 2014

Sparse and Compressive Sensing Techniques参考文献 15被引用 41

一句话总结

本文提出了一种改进的AMP算法——Swept Approximated Message-Passing（SwAMP），通过采用顺序的、逐系数的更新方式替代传统的并行更新，从而稳定了收敛性。SwAMP在稀疏估计任务中实现了最先进性能，尤其在非理想条件（如非零均值测量矩阵）下表现优异，同时保持了O(N)的计算与内存复杂度。

ABSTRACT

Approximate Message Passing (AMP) has been shown to be a superior method for inference problems, such as the recovery of signals from sets of noisy, lower-dimensionality measurements, both in terms of reconstruction accuracy and in computational efficiency. However, AMP suffers from serious convergence issues in contexts that do not exactly match its assumptions. We propose a new approach to stabilizing AMP in these contexts by applying AMP updates to individual coefficients rather than in parallel. Our results show that this change to the AMP iteration can provide theoretically expected, but hitherto unobtainable, performance for problems on which the standard AMP iteration diverges. Additionally, we find that the computational costs of this swept coefficient update scheme is not unduly burdensome, allowing it to be applied efficiently to signals of large dimensionality.

研究动机与目标

• 解决标准近似消息传递（AMP）在偏离i.i.d.零均分假设的测量矩阵上应用时出现的不稳定性问题。
• 在克服非理想投影矩阵导致的收敛问题的同时，保持AMP的计算效率与精度。
• 开发一种可扩展的算法，在维持O(N)复杂度的同时，提升在实际应用场景（如1-bit压缩感知与群体测试）中的鲁棒性。
• 为涉及非线性、量化或有偏测量的问题提供一种稳定替代AMP与GAMP的方案，这些场景下标准方法会失效。

提出的方法

• 用受信念传播（BP）启发的顺序扫掠式更新模式替代AMP中的标准并行更新规则，即逐个系数地进行更新。
• 推导出AMP状态演化方程的改进形式，使其保持与标准AMP相同的固定点，但显著提升收敛稳定性。
• 将扫掠更新方案应用于广义AMP（GAMP），以扩展方法在非线性与概率输出信道（如1-bit压缩感知）中的适用性。
• 采用状态演化分析来追踪算法性能，并在不同信噪比与矩阵均值条件下验证其鲁棒性。
• 提出广义扫掠AMP（G-SwAMP），用于处理非线性测量（如1-bit CS中的符号函数），且无需进行均值去除。
• 证明该算法每轮迭代的计算成本仍保持在O(N)水平，从而保留了标准AMP的高效性。

实验结果

研究问题

• RQ1 在测量矩阵非零均值等非理想条件下，顺序更新策略是否能稳定AMP，避免并行更新导致的发散？
• RQ2 扫掠更新模式在多大程度上保持了AMP的理论性能，同时提升了收敛鲁棒性？
• RQ3 在非理想投影条件下，SwAMP与BIHT和ℓ₁-最小化等最先进方法在1-bit压缩感知中的表现如何比较？
• RQ4 广义SwAMP（G-SwAMP）是否能在无需矩阵均值去除的前提下处理如符号函数等非线性输出信道？
• RQ5 与标准AMP和BP相比，扫掠更新策略的计算与内存开销如何？

主要发现

• SwAMP在测量矩阵具有非零均值时，相比标准AMP与GAMP展现出更优的重建精度，而这类矩阵通常会导致标准AMP发散。
• 在Φμi ∼ N(20/N, 1/N)的1-bit压缩感知场景下，G-SwAMP实现了低均方误差（MSE），且性能优于BIHT与零均值矩阵下的理论ℓ₁-最小化结果。
• 在1-bit CS中，即使矩阵均值γ较大，G-SwAMP仍能收敛至低MSE，而标准GAMP在小γ值下无法收敛。
• 该算法保持了O(N)的计算与内存复杂度，尽管采用顺序更新模式，仍可扩展至大规模问题。
• SwAMP在多种应用场景中表现出鲁棒性能，包括群体测试与非线性测量，而标准AMP在这些场景中会失效。
• 实验结果表明，SwAMP在重建精度与收敛稳定性方面与ℓ₁-最小化或其他最先进方法相当或更优。