[论文解读] PCA Initialization for Approximate Message Passing in Rotationally Invariant Models

Marco Mondelli, Ramji Venkataramanan|arXiv (Cornell University)|Jun 4, 2021

Random Matrices and Applications参考文献 42被引用 13

一句话总结

该论文提出了一种新型的近似消息传递（AMP）算法，通过主成分分析（PCA）初始化，用于在旋转对称噪声下进行秩-1信号估计，这是对高斯噪声的推广。作者通过一种两阶段人工AMP框架，严格刻画了估计器的渐近性能，表明PCA初始化会影响所有AMP迭代（与高斯情形不同），从而在结构化信号恢复中实现了超越标准PCA的更高精度。

ABSTRACT

We study the problem of estimating a rank-$1$ signal in the presence of rotationally invariant noise-a class of perturbations more general than Gaussian noise. Principal Component Analysis (PCA) provides a natural estimator, and sharp results on its performance have been obtained in the high-dimensional regime. Recently, an Approximate Message Passing (AMP) algorithm has been proposed as an alternative estimator with the potential to improve the accuracy of PCA. However, the existing analysis of AMP requires an initialization that is both correlated with the signal and independent of the noise, which is often unrealistic in practice. In this work, we combine the two methods, and propose to initialize AMP with PCA. Our main result is a rigorous asymptotic characterization of the performance of this estimator. Both the AMP algorithm and its analysis differ from those previously derived in the Gaussian setting: at every iteration, our AMP algorithm requires a specific term to account for PCA initialization, while in the Gaussian case, PCA initialization affects only the first iteration of AMP. The proof is based on a two-phase artificial AMP that first approximates the PCA estimator and then mimics the true AMP. Our numerical simulations show an excellent agreement between AMP results and theoretical predictions, and suggest an interesting open direction on achieving Bayes-optimal performance.

研究动机与目标

• 为解决现有AMP算法需要与信号相关但与噪声无关的初始化这一局限性，而此类初始化在实际场景中往往不切实际。
• 通过将AMP初始化为PCA估计值，结合PCA与AMP的优势，以提升高维、旋转对称噪声模型下的信号恢复精度。
• 在一般旋转对称噪声下，严格刻画基于PCA初始化的AMP的渐近性能，突破高斯假设的限制。
• 提出一种新颖的两阶段人工AMP框架，首先近似PCA，然后模拟真实AMP动态，从而实现对组合估计器的理论分析。

提出的方法

• 提出一种基于PCA初始化的AMP算法，其中初始估计 ${\boldsymbol{u}}^1$ 取为数据矩阵 ${\boldsymbol{X}}$ 的主特征向量，从而无需依赖任意与信号相关的初始化。
• 引入一种两阶段人工AMP：第一阶段近似PCA估计器，第二阶段模拟真实AMP动态，以支持理论分析。
• 推导出基于PCA初始化的AMP的状态演化递推关系，表明由于非高斯、旋转对称噪声结构的存在，PCA初始化会影响所有迭代（而不仅第一轮）。
• 利用三重分解和利普希茨连续性论证，证明在高维渐近下，经验平均值收敛到其理论极限。
• 采用三角不等式夹逼论证，表明真实迭代与人工迭代之间的差异在范数意义下随 $n \to \infty$ 而趋于零，从而实现渐近等价性。
• 证明了在极限分布下，信号与迭代函数的经验平均值几乎必然收敛到其期望值。

实验结果

研究问题

• RQ1 在噪声比高斯更一般化的旋转对称噪声模型中，PCA能否作为AMP的实用且有效的初始化方法？
• RQ2 在旋转对称噪声下，与仅影响第一轮迭代的高斯情形相比，PCA初始化如何影响AMP的动力学行为？
• RQ3 在高维极限下，基于PCA初始化的AMP在秩-1矩阵估计中的渐近性能如何？
• RQ4 两阶段人工AMP框架能否为非高斯噪声下基于PCA初始化的AMP提供严谨的理论表征？
• RQ5 基于PCA初始化的AMP是否达到贝叶斯最优性能？在何种条件下可能实现此类最优性？

主要发现

• 基于PCA初始化的AMP在高维极限下，通过一个确定性的状态演化递推关系得到严格刻画，该关系适用于旋转对称噪声。
• 与高斯情形不同，在旋转对称设定下，PCA初始化会影响AMP的所有迭代，因此需要对算法和分析进行修改。
• 数值模拟显示，理论预测与实际AMP性能高度一致，验证了状态演化分析的正确性。
• 两阶段人工AMP框架成功弥合了PCA与AMP之间的鸿沟，通过迭代逼近和利普希茨稳定性论证，实现了收敛性证明。
• 结果表明，基于PCA初始化的AMP可能实现贝叶斯最优性能，但该问题仍为未来研究的开放方向。
• 在极限联合分布下，信号与迭代函数的经验平均值几乎必然收敛到其理论期望，证实了状态演化框架的有效性。