[论文解读] Reshaped Wirtinger Flow for Solving Quadratic Systems of Equations

Huishuai Zhang, Yingbin Liang|arXiv (Cornell University)|May 25, 2016

Advanced X-ray Imaging Techniques被引用 16

一句话总结

该论文提出了一种名为重塑Wirtinger流（Reshaped Wirtinger Flow, RWF）的非凸优化算法，用于通过最小化非光滑二次损失函数来求解相位恢复中的二次方程组。RWF仅需O(n)组测量即可实现几何收敛至全局最优解，在样本复杂度和计算效率方面优于现有方法，同时避免了先前方法中使用的截断步骤。

ABSTRACT

We study the phase retrieval problem, which solves quadratic system of equations, i.e., recovers a vector $\boldsymbol{x}\in \mathbb{R}^n$ from its magnitude measurements $y_i=|\langle \boldsymbol{a}_i, \boldsymbol{x} angle|, i=1,..., m$. We develop a gradient-like algorithm (referred to as RWF representing reshaped Wirtinger flow) by minimizing a nonconvex nonsmooth loss function. In comparison with existing nonconvex Wirtinger flow (WF) algorithm \cite{candes2015phase}, although the loss function becomes nonsmooth, it involves only the second power of variable and hence reduces the complexity. We show that for random Gaussian measurements, RWF enjoys geometric convergence to a global optimal point as long as the number $m$ of measurements is on the order of $n$, the dimension of the unknown $\boldsymbol{x}$. This improves the sample complexity of WF, and achieves the same sample complexity as truncated Wirtinger flow (TWF) \cite{chen2015solving}, but without truncation in gradient loop. Furthermore, RWF costs less computationally than WF, and runs faster numerically than both WF and TWF. We further develop the incremental (stochastic) reshaped Wirtinger flow (IRWF) and show that IRWF converges linearly to the true signal. We further establish performance guarantee of an existing Kaczmarz method for the phase retrieval problem based on its connection to IRWF. We also empirically demonstrate that IRWF outperforms existing ITWF algorithm (stochastic version of TWF) as well as other batch algorithms.

研究动机与目标

• 为通过非凸优化框架从仅含幅值的测量中恢复向量这一相位恢复问题提供解决方案。
• 与现有的Wirtinger Flow (WF) 和截断Wirtinger Flow (TWF) 方法相比，降低计算复杂度并提升样本效率。
• 在优化循环中消除对梯度截断的需求，同时保持快速收敛性。
• 开发一种增量（随机）变体IRWF，以实现大规模相位恢复的可扩展性和高效性。
• 为RWF和IRWF建立理论性能保证，并将其与现有的Kaczmarz型方法联系起来。

提出的方法

• 提出一种重塑损失函数，该函数虽非光滑但仅关于变量为二次型，相比标准WF可显著降低计算成本。
• 采用类似梯度的更新规则，避免在梯度计算中进行截断，简化实现并提升效率。
• 使用随机高斯测量向量，以确保收敛所需的有利几何特性。
• 在测量数m与n同阶的条件下，推导出RWF的线性收敛速率。
• 开发一种增量版本IRWF，逐个处理测量数据，实现更快且可扩展的优化。
• 建立IRWF与Kaczmarz方法之间的理论联系，为后者提供新的性能保证。

实验结果

研究问题

• RQ1 能否设计一种非凸优化方法，在不使用梯度截断的前提下，以最小样本复杂度实现相位恢复的几何收敛？
• RQ2 RWF中的非光滑二次损失函数与光滑替代方案相比，在收敛性和计算成本方面表现如何？
• RQ3 RWF的样本复杂度是多少？与WF和TWF相比有何差异？
• RQ4 RWF的增量版本（IRWF）能否实现线性收敛，并优于现有的随机方法？
• RQ5 IRWF与经典Kaczmarz方法在相位恢复中存在何种理论联系？

主要发现

• RWF仅需O(n)组测量即可实现对全局最优解的几何收敛，样本复杂度与TWF相当，但无需梯度截断。
• 与标准Wirtinger Flow (WF) 相比，RWF的计算成本更低，实际运行速度更快。
• IRWF线性收敛至真实信号，展现出强大的理论和实证性能。
• 实验结果表明，IRWF在收敛速度和精度方面优于ITWF算法（随机TWF）及其他批量方法。
• 本文证明了相位恢复中的Kaczmarz方法是IRWF的一个特例，为该方法的性能提供了新的理论依据。
• 所提出的RWF方法在样本复杂度上与TWF相当，但更新方式更简单，数值效率更高。