[论文解读] Solving Systems of Random Quadratic Equations via Truncated Amplitude Flow

Gang Wang, Georgios B. Giannakis+1 more|arXiv (Cornell University)|May 26, 2016

Sparse and Compressive Sensing Techniques参考文献 66被引用 55

一句话总结

本文提出了一种新型算法——截断振幅流（Truncated Amplitude Flow, TAF），用于求解相位恢复中出现的随机二次方程组 $ y_i = |\langle \mathbf{a}_i, \mathbf{x} \rangle|^2 $。TAF 通过幂迭代实现正交性促进的初始化，并采用截断梯度更新，当 $ m \approx n $ 时，以高概率实现精确恢复（全局相位不变），且收敛速度为线性，计算复杂度为 $ O(nm) $。

ABSTRACT

This paper presents a new algorithm, termed \emph{truncated amplitude flow} (TAF), to recover an unknown vector $\bm{x}$ from a system of quadratic equations of the form $y_i=|\langle\bm{a}_i,\bm{x} angle|^2$, where $\bm{a}_i$'s are given random measurement vectors. This problem is known to be \emph{NP-hard} in general. We prove that as soon as the number of equations is on the order of the number of unknowns, TAF recovers the solution exactly (up to a global unimodular constant) with high probability and complexity growing linearly with both the number of unknowns and the number of equations. Our TAF approach adopts the \emph{amplitude-based} empirical loss function, and proceeds in two stages. In the first stage, we introduce an \emph{orthogonality-promoting} initialization that can be obtained with a few power iterations. Stage two refines the initial estimate by successive updates of scalable \emph{truncated generalized gradient iterations}, which are able to handle the rather challenging nonconvex and nonsmooth amplitude-based objective function. In particular, when vectors $\bm{x}$ and $\bm{a}_i$'s are real-valued, our gradient truncation rule provably eliminates erroneously estimated signs with high probability to markedly improve upon its untruncated version. Numerical tests using synthetic data and real images demonstrate that our initialization returns more accurate and robust estimates relative to spectral initializations. Furthermore, even under the same initialization, the proposed amplitude-based refinement outperforms existing Wirtinger flow variants, corroborating the superior performance of TAF over state-of-the-art algorithms.

研究动机与目标

• 为解决从仅含幅度的测量值 $ y_i = |\langle \mathbf{a}_i, \mathbf{x} \rangle|^2 $ 恢复未知向量 $ \mathbf{x} $ 的 NP-难问题，该问题在相位恢复中普遍存在。
• 开发一种高效且可扩展的算法，实现最小样本复杂度下的精确恢复。
• 克服相位恢复中基于振幅的损失函数的非凸性与非光滑性。
• 通过一种新颖的梯度截断规则，改进现有 Wirtinger 流变体，以在实值设置下纠正错误符号。

提出的方法

• 提出一种两阶段算法：首先，通过若干次幂迭代实现正交性促进的初始化，以获得良好的初始估计。
• 其次，应用截断广义梯度迭代以优化估计，其中梯度截断规则可增强收敛性并改善实值情况下的符号校正。
• 采用基于振幅的经验损失函数 $ h(\mathbf{z}) = \frac{1}{2m} \sum_{i=1}^m (\psi_i - |\langle \mathbf{a}_i, \mathbf{z} \rangle|)^2 $，该函数相较于基于强度的替代方案更具鲁棒性。
• 提出一种截断规则，可在实值设置下以高概率严格消除错误符号，优于未截断版本。
• 利用浓度不等式与次高斯尾部界，建立梯度与类似 Hessian 项行为的概率保证。
• 在随机测量向量 $ \mathbf{a}_i \sim \mathcal{N}(0, I) $ 的假设下进行分析，表明当 $ m = O(n) $ 时，即可以高概率实现精确恢复。

实验结果

研究问题

• RQ1 非凸相位恢复问题能否以线性收敛速度与最小样本复杂度高效求解？
• RQ2 截断梯度方法能否在准确率与鲁棒性方面优于标准的 Wirtinger 流？
• RQ3 基于幂迭代的新型初始化是否能相比谱初始化显著提升恢复性能？
• RQ4 在基于振幅的损失函数中，梯度截断能否在实值相位恢复中严格证明纠正符号错误？
• RQ5 使用基于振幅的优化方法实现精确恢复所需的理论样本复杂度是多少？

主要发现

• 当 $ m = O(n) $ 时，TAF 以高概率实现对 $ \mathbf{x} $ 的精确恢复（全局模为 1 的常数意义下），达到信息论下限。
• 该算法以 $ O(nm) $ 的计算复杂度线性收敛至全局最小值，其复杂度与未知数和方程数量均呈线性关系。
• 所提出的初始化方法显著提升了鲁棒性与准确性，尤其在低信噪比（SNR）环境下优于标准谱初始化。
• 在实值设置下，截断梯度规则可高概率地严格消除错误符号，相较于未截断版本带来显著性能提升。
• 在合成数据与真实图像上的数值实验表明，TAF 在收敛速度与恢复精度方面均优于当前最先进算法，包括 Wirtinger 流。
• 理论分析证实，截断梯度方法即使在非光滑与非凸的基于振幅的目标函数下，仍能实现稳定收敛。