[论文解读] Rigorous Dynamics of Expectation-Propagation-Based Signal Recovery from Unitarily Invariant Measurements

Keigo Takeuchi|arXiv (Cornell University)|Jan 20, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用 13

一句话总结

本文严格推导了从酉不变测量中通过期望传播（EP）方法实现稀疏信号恢复的信度传播算法的状态演化（SE）方程。该研究验证了Ma与Ping提出的SE公式，并在独立同分布的非高斯稀疏信号与酉不变测量矩阵条件下，证明了EP方法在大系统极限下的渐近贝叶斯最优性。

ABSTRACT

This paper investigates sparse signal recovery based on expectation propagation (EP) from unitarily invariant measurements. A rigorous analysis is presented for the state evolution (SE) of an EP-based message-passing algorithm in the large system limit, where both input and output dimensions tend to infinity at an identical speed. The main result is the justification of an SE formula conjectured by Ma and Ping.

研究动机与目标

• 严格验证Ma与Ping针对EP方法信号恢复所提出的SE公式的正确性。
• 在大系统极限下，建立基于EP的消息传递算法的渐近贝叶斯最优性。
• 分析在独立同分布的非高斯稀疏信号与酉不变测量矩阵下，基于EP的恢复算法的动力学行为。
• 提供一种概率性论证，使SE结果适用于单个信号元素，而不仅限于平均结果。

提出的方法

• 在大系统极限下推导基于EP的消息传递算法的状态演化（SE）方程，其中N与M按比例增长且δ = M/N保持固定。
• 采用基于大数定律和复高斯向量性质的概率方法，分析渐近行为。
• 引入辅助向量与投影（如q_t、h_t^G）以建模算法的迭代动力学。
• 利用奇异值分解（SVD）与伪逆矩阵处理测量矩阵结构与投影算子。
• 应用引理1，证明在大系统极限下，辅助向量h_t^G与非线性函数η_t之间的期望内积趋于零。
• 建立均方误差（MSE）与最小均方误差（MMSE）函数之间的等价性，从而确认SE公式的有效性。

实验结果

研究问题

• RQ1 Ma与Ping针对EP方法信号恢复所提出的SE公式是否在大系统极限下严格成立？
• RQ2 能否证明基于EP的算法在酉不变测量矩阵下的渐近贝叶斯最优性？
• RQ3 当信号为非高斯且稀疏时，基于EP的消息传递算法的动力学行为如何？
• RQ4 辅助高斯向量h_t^G在SE方程的验证中起什么作用？
• RQ5 能否使SE推导具有概率性，从而得到针对单个信号元素而非仅平均值的结果？

主要发现

• Ma与Ping所提出的SE公式在大系统极限下被严格证明成立。
• 基于EP的消息传递算法在酉不变测量矩阵下实现了渐近贝叶斯最优性。
• 该算法的均方误差（MSE）以几乎必然收敛于信号方差的最小均方误差（MMSE）函数。
• 证明了算法迭代值的四阶矩在大系统极限下一致有界，确保了稳定性。
• 涉及h_t^G与η_t内积的关键恒等式以几乎必然方式趋于零，这对SE推导至关重要。
• 通过协方差与均值更新的递归一致性验证了SE方程，确认了算法动力学的收敛性。