[论文解读] Optimal Rates of Convergence for Noisy Sparse Phase Retrieval via Thresholded Wirtinger Flow

Tommaso Cai, Xiaodong Li+1 more|arXiv (Cornell University)|Jun 10, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用 10

一句话总结

本文提出了一种阈值化Wirtinger流算法，用于在感应向量为i.i.d.标准高斯分布且噪声服从次指数分布时的噪声稀疏相位恢复问题，实现了极小极大最优收敛速率。该估计器可自适应于稀疏度水平，并在样本量 $ m \geq C(\delta)k\log k $ 时达到最优速率 $ \sigma / \|\bm{x}\|_2 \sqrt{k\log p / m} $，兼具计算效率与理论最优性。

ABSTRACT

This paper considers the noisy sparse phase retrieval problem: recovering a sparse signal $x \in \mathbb{R}^p$ from noisy quadratic measurements $y_j = (a_j' x )^2 + ε_j$, $j=1, \ldots, m$, with independent sub-exponential noise $ε_j$. The goals are to understand the effect of the sparsity of $x$ on the estimation precision and to construct a computationally feasible estimator to achieve the optimal rates. Inspired by the Wirtinger Flow [12] proposed for noiseless and non-sparse phase retrieval, a novel thresholded gradient descent algorithm is proposed and it is shown to adaptively achieve the minimax optimal rates of convergence over a wide range of sparsity levels when the $a_j$'s are independent standard Gaussian random vectors, provided that the sample size is sufficiently large compared to the sparsity of $x$.

研究动机与目标

• 理解信号稀疏度对噪声相位恢复中估计精度的影响。
• 开发一种计算上可行的估计器，使其在广泛稀疏度水平下均能达到最优收敛速率。
• 在高维稀疏信号下，为次指数噪声建立极小极大最优收敛速率。
• 将Wirtinger流框架扩展至具有理论保证的稀疏、噪声相位恢复问题。

提出的方法

• 提出一种结合Wirtinger流与迭代硬阈值化的阈值化梯度下降算法，以利用稀疏性。
• 采用非凸经验风险最小化框架，使用 $ \ell_2 $-损失对平方测量值 $ y_j = (\bm{a}_j^T\bm{x})^2 + \epsilon_j $ 进行优化。
• 在每次迭代中应用阈值化操作，以保持稀疏性，并在高维设置下提升估计精度。
• 利用次指数噪声的浓度不等式控制估计误差并确保稳定性。
• 借助随机矩阵理论分析经验风险的Hessian矩阵，确保在真实信号附近的局部收敛性。
• 推导出样本量要求 $ m \geq C(\delta)k\log k $，其与稀疏相位恢复的最先进结果一致。

实验结果

研究问题

• RQ1 在次指数噪声下，噪声稀疏相位恢复的极小极大最优收敛速率是什么？
• RQ2 是否能够设计一种计算高效的算法，在不同稀疏度水平下均达到该最优速率？
• RQ3 在次指数噪声存在下，信号 $ \bm{x} $ 的稀疏度如何影响估计误差？
• RQ4 当感应向量为i.i.d.标准高斯分布时，需要多大的样本量才能确保最优恢复？
• RQ5 在稀疏、噪声环境中，阈值化Wirtinger流是否优于标准Wirtinger流？

主要发现

• 在 $ \ell_2 $-估计误差下，极小极大最优收敛速率为 $ \sigma / \|\bm{x}\|_2 \sqrt{k\log p / m} $，其中 $ k $ 为稀疏度，$ \sigma $ 为噪声水平，$ m $ 为样本量。
• 所提出的阈值化Wirtinger流在 $ m \geq C(\delta)k\log k $ 条件下以高概率实现该最优速率，样本复杂度与现有最优结果一致。
• 该算法在速率上最优且计算高效，避免了在稀疏性约束下非凸经验风险最小化带来的计算不可行性。
• 理论分析表明，经验风险的Hessian矩阵在稀疏支撑上集中于单位矩阵，从而实现局部收敛。
• 通过噪声项经验平均的高概率界处理次指数噪声，确保了鲁棒性。
• 该方法无需事先知晓 $ k $ 的值即可自适应于未知的稀疏度水平，使其在实际应用中更具实用性。