[论文解读] Provable Non-convex Phase Retrieval with Outliers: Median Truncated Wirtinger Flow

Huishuai Zhang, Yuejie Chi+1 more|arXiv (Cornell University)|Mar 11, 2016

Advanced X-ray Imaging Techniques参考文献 26被引用 73

一句话总结

本文提出中值截断Wirtinger流（median-TWF），一种在任意异常值存在下具有鲁棒性的非凸优化算法，用于相位检索。通过用基于中值的估计量替代梯度更新，该方法在仅需接近最优的高斯测量数时，即可实现对信号的可证明恢复——即使测量值中有一固定比例被任意破坏——且其保证也适用于有界噪声情形。

ABSTRACT

Solving systems of quadratic equations is a central problem in machine learning and signal processing. One important example is phase retrieval, which aims to recover a signal from only magnitudes of its linear measurements. This paper focuses on the situation when the measurements are corrupted by arbitrary outliers, for which the recently developed non-convex gradient descent Wirtinger flow (WF) and truncated Wirtinger flow (TWF) algorithms likely fail. We develop a novel median-TWF algorithm that exploits robustness of sample median to resist arbitrary outliers in the initialization and the gradient update in each iteration. We show that such a non-convex algorithm provably recovers the signal from a near-optimal number of measurements composed of i.i.d. Gaussian entries, up to a logarithmic factor, even when a constant portion of the measurements are corrupted by arbitrary outliers. We further show that median-TWF is also robust when measurements are corrupted by both arbitrary outliers and bounded noise. Our analysis of performance guarantee is accomplished by development of non-trivial concentration measures of median-related quantities, which may be of independent interest. We further provide numerical experiments to demonstrate the effectiveness of the approach.

研究动机与目标

• 解决现有非凸相位检索方法（如WF和TWF）在测量值受任意异常值破坏时的失效问题。
• 开发一种鲁棒的优化框架，即使在存在固定比例被破坏的测量值时，仍能保持收敛性和准确性。
• 为在任意异常值和有界噪声条件下实现信号恢复提供理论保证，采用基于中值的方法。
• 在存在对抗性破坏的情况下，仅以对数因子的样本复杂度开销建立性能边界。

提出的方法

• 在Wirtinger流中用基于中值的估计量替代标准梯度更新，以降低在初始化和迭代更新中对异常值的敏感性。
• 引入中值截断的目标函数，通过降低极端测量值的影响，增强对任意破坏的鲁棒性。
• 利用专为中值相关统计量设计的集中不等式，分析在异常值条件下的收敛性和稳定性。
• 使用独立同分布的高斯测量作为输入，确保仅以对数因子的惩罚实现接近最优的样本复杂度。
• 设计一种迭代算法，交替执行基于中值的梯度估计和信号更新步骤，确保收敛至真实信号。
• 将框架扩展至处理混合破坏：同时包含任意异常值和有界噪声，同时保持理论保证。

实验结果

研究问题

• RQ1 当固定比例的测量值被任意破坏时，非凸相位检索算法是否仍能保持可证明的恢复性能？
• RQ2 在存在异常值的情况下，基于中值的梯度估计相比标准Wirtinger流在鲁棒性方面有何改进？
• RQ3 在存在任意异常值的情况下，实现稳定信号恢复所需的独立同分布高斯测量的最小数量是多少？
• RQ4 所提方法能否处理结合任意异常值和有界噪声的混合破坏模型？
• RQ5 在高维非凸优化中分析基于中值的估计量时，需要哪些新颖的集中不等式？

主要发现

• 即使在固定比例测量值被任意破坏的情况下，median-TWF 也能从接近最优数量的独立同分布高斯测量中，以对数因子的代价可证明地恢复真实信号。
• 通过利用样本中值对极端值不敏感的特性，该算法在初始化和迭代梯度更新中均保持鲁棒性。
• 理论保证可扩展至同时存在任意异常值和有界噪声的情形，表明对混合破坏模型具有强韧性。
• 发展了针对中值相关量的非平凡集中度量，并表明其本身具有独立的理论价值。
• 数值实验验证了median-TWF在高异常值率下恢复信号的有效性，在被破坏的设置中优于标准TWF和WF。