[论文解读] Rigorous Dynamics and Consistent Estimation in Arbitrarily Conditioned Linear Systems

Alyson K. Fletcher, Mojtaba Sahraee-Ardakan+2 more|arXiv (Cornell University)|Jun 19, 2017

Blind Source Separation Techniques被引用 8

一句话总结

本文提出自适应向量近似消息传递（Adaptive VAMP），结合自动调参机制，用于在高维线性反问题中实现一致且可证明最优的估计，即使测量矩阵的条件数任意恶劣。该方法在广义右旋转不变矩阵下建立了严格的渐近状态演化与一致性理论，当参数收敛至真实值时，可实现贝叶斯最优性能。

ABSTRACT

The problem of estimating a random vector x from noisy linear measurements y = A x + w with unknown parameters on the distributions of x and w, which must also be learned, arises in a wide range of statistical learning and linear inverse problems. We show that a computationally simple iterative message-passing algorithm can provably obtain asymptotically consistent estimates in a certain high-dimensional large-system limit (LSL) under very general parameterizations. Previous message passing techniques have required i.i.d. sub-Gaussian A matrices and often fail when the matrix is ill-conditioned. The proposed algorithm, called adaptive vector approximate message passing (Adaptive VAMP) with auto-tuning, applies to all right-rotationally random A. Importantly, this class includes matrices with arbitrarily poor conditioning. We show that the parameter estimates and mean squared error (MSE) of x in each iteration converge to deterministic limits that can be precisely predicted by a simple set of state evolution (SE) equations. In addition, a simple testable condition is provided in which the MSE matches the Bayes-optimal value predicted by the replica method. The paper thus provides a computationally simple method with provable guarantees of optimality and consistency over a large class of linear inverse problems.

研究动机与目标

• 解决在病态线性系统中消息传递算法缺乏理论保证的问题，其中标准AMP方法失效。
• 将基于VAMP的推理适用范围扩展至所有右旋转不变矩阵，包括条件数任意高的矩阵。
• 在未知参数通过期望最大化（EM）学习的高维大系统极限（LSL）下，提供参数估计的可证明收敛性与一致性。
• 建立一个可预测渐近均方误差（MSE）与参数估计的渐近状态演化框架。
• 证明在可简单验证的条件下，Adaptive VAMP 的MSE与由复制法预测的贝叶斯最优值一致。

提出的方法

• 提出Adaptive VAMP，一种结合向量近似消息传递（VAMP）与期望最大化（EM）的消息传递算法，用于联合估计信号与未知参数。
• 引入一种自动调参机制，通过根据当前状态自适应调整算法更新规则，确保参数估计的一致性。
• 推导一组扩展的状态演化（SE）方程，用于追踪大系统极限下估计值与MSE的渐近行为。
• 采用右旋转不变矩阵模型表示A，该模型包含i.i.d.次高斯矩阵以及任意条件数的矩阵。
• 应用复制法预测贝叶斯最优MSE，并与SE预测的MSE进行比较，以评估最优性。
• 通过在高条件数矩阵下的稀疏信号与图像恢复问题中进行仿真，验证理论结果。

实验结果

研究问题

• RQ1 在条件数任意恶劣的测量矩阵下，消息传递算法是否能在高维线性系统中实现可证明的一致性参数估计？
• RQ2 Adaptive VAMP 的状态演化是否在大系统极限下收敛至确定性、可预测的极限？
• RQ3 Adaptive VAMP 的均方误差（MSE）在何种条件下与复制法预测的贝叶斯最优值一致？
• RQ4 当真实参数未知时，Adaptive VAMP 中的自动调参机制如何确保收敛性与一致性？
• RQ5 在有限尺寸、真实世界数据（如图像）的实际场景中，即使先验模型设定有误，该方法是否仍能保持稳定与最优性能？

主要发现

• 在可识别性条件与所提出的自动调参程序下，Adaptive VAMP 在大系统极限下实现了渐近一致性。
• Adaptive VAMP 的状态演化方程可对均方误差与参数估计提供确定性、可解析处理的预测。
• 在条件数κ=100的稀疏信号恢复中，采用自动调参的Adaptive VAMP性能接近VAMP-oracle（已知参数）水平，显著优于EM-BG-AMP与SPGL1。
• 在κ=100的稀疏图像恢复中，采用自动调参的EM-VAMP实现的中位数NMSE与oracle水平相当，且速度约为EM-BG-AMP与SPGL1的10倍。
• 当参数估计收敛至真实值时，Adaptive VAMP 的MSE与复制法预测的贝叶斯最优值一致。
• 即使在极端条件数的矩阵下，该算法仍保持稳定与高效，而标准AMP方法通常会发散。