[论文解读] Reshaped Wirtinger Flow and Incremental Algorithm for Solving Quadratic System of Equations

Huishuai Zhang, Yi Zhou+2 more|arXiv (Cornell University)|May 25, 2016

Model Reduction and Neural Networks参考文献 55被引用 29

一句话总结

本文提出重塑Wirtinger流（RWF），一种用于通过最小化非光滑、二阶损失函数来求解相位检索中二次方程组的非凸优化算法。RWF 在 O(n) 测量下实现对真实信号的几何收敛，且计算成本低于先前方法；其增量版本（IRWF）确保线性收敛，并优于现有的随机算法。

ABSTRACT

We study the phase retrieval problem, which solves quadratic system of equations, i.e., recovers a vector $\boldsymbol{x}\in \mathbb{R}^n$ from its magnitude measurements $y_i=|\langle \boldsymbol{a}_i, \boldsymbol{x} angle|, i=1,..., m$. We develop a gradient-like algorithm (referred to as RWF representing reshaped Wirtinger flow) by minimizing a nonconvex nonsmooth loss function. In comparison with existing nonconvex Wirtinger flow (WF) algorithm \cite{candes2015phase}, although the loss function becomes nonsmooth, it involves only the second power of variable and hence reduces the complexity. We show that for random Gaussian measurements, RWF enjoys geometric convergence to a global optimal point as long as the number $m$ of measurements is on the order of $n$, the dimension of the unknown $\boldsymbol{x}$. This improves the sample complexity of WF, and achieves the same sample complexity as truncated Wirtinger flow (TWF) \cite{chen2015solving}, but without truncation in gradient loop. Furthermore, RWF costs less computationally than WF, and runs faster numerically than both WF and TWF. We further develop the incremental (stochastic) reshaped Wirtinger flow (IRWF) and show that IRWF converges linearly to the true signal. We further establish performance guarantee of an existing Kaczmarz method for the phase retrieval problem based on its connection to IRWF. We also empirically demonstrate that IRWF outperforms existing ITWF algorithm (stochastic version of TWF) as well as other batch algorithms.

研究动机与目标

• 解决现有非凸相位检索算法（如Wirtinger流（WF）和截断Wirtinger流（TWF））在计算和样本复杂度方面的局限性。
• 提出一种基于 |⟨aᵢ, z⟩| − yᵢ 的新损失函数，以降低损失函数中变量的阶数，改善收敛行为。
• 在随机高斯测量条件下，为所提出的RWF算法建立全局收敛保证。
• 设计一种增量/随机变体（IRWF），以提升计算效率和可扩展性。
• 证明IRWF实现线性收敛，并优于现有的随机方法（如ITWF和Kaczmarz-PR）。

提出的方法

• 提出一种新损失函数 ℓ(z) = (1/(2m)) Σᵢ (|aᵢᵀz| − yᵢ)²，其关于变量 z 为二阶，相比WF中的四阶损失函数，复杂度更低。
• 开发RWF作为一类基于次梯度的梯度类算法，用于最小化该非光滑、非凸损失函数，其更新规则简洁明了。
• 采用谱初始化方法，确保初始估计值与真实信号 x 处于常数倍范围内。
• 引入一种步长规则，在适当条件下保证几何收敛至全局最优解。
• 设计IRWF作为RWF的增量/随机变体，通过随机采样逐次使用单个测量进行更新。
• 建立IRWF与Kaczmarz方法之间的理论联系，表明Kaczmarz-PR是IRWF的一个特例。

实验结果

研究问题

• RQ1 与现有非凸方法相比，是否更低阶、非光滑的损失函数能够改善收敛性并降低相位检索中的计算成本？
• RQ2 RWF 是否在样本复杂度 O(n) 下实现几何收敛，且无需梯度步长中的截断操作，从而达到最佳已知结果？
• RQ3 RWF 的增量版本（IRWF）是否能实现线性收敛，并优于现有的随机算法（如ITWF）？
• RQ4 Kaczmarz方法与所提出的增量RWF框架之间存在何种理论联系？
• RQ5 在收敛速度和精度方面，IRWF的性能与批量算法和随机算法相比如何？

主要发现

• RWF 在 O(n) 测量下实现对真实信号的几何收敛，样本复杂度与TWF相当，但梯度步长中无需截断。
• 由于损失函数阶数更低，RWF 相较于WF降低了计算成本，从而实现了更快的数值性能。
• 当初始化得当时，IRWF 能够线性收敛至真实信号，为随机变体建立了理论保证。
• 研究表明，用于相位检索的Kaczmarz方法是IRWF的一个特例，为其实证成功提供了理论基础。
• 实验结果表明，IRWF 在收敛速度和精度方面均优于批量RWF和随机ITWF算法。