[论文解读] On Gradient Descent Algorithm for Generalized Phase Retrieval Problem

Ji Li, Tie Zhou|arXiv (Cornell University)|Jul 5, 2016

Advanced X-ray Imaging Techniques参考文献 26被引用 6

一句话总结

该论文通过最小二乘法公式化，建立了广义相位恢复问题中梯度下降的全局收敛性，证明了当测量数 $ m $ 足够大时（例如，高斯模型下为 $ \\mathcal{O}(n\log n) $），从随机初始化出发可实现全局收敛。此外，论文还证明了实值信号下代价函数的局部凸性，并在数值实验中展示了LBFGS相较于其他线搜索和投影方法的优越性能。

ABSTRACT

In this paper, we study the generalized phase retrieval problem: to recover a signal $\bm{x}\in\mathbb{C}^n$ from the measurements $y_r=\lvert \langle\bm{a}_r,\bm{x} angle vert^2$, $r=1,2,\ldots,m$. The problem can be reformulated as a least-squares minimization problem. Although the cost function is nonconvex, the global convergence of gradient descent algorithm from a random initialization is studied, when $m$ is large enough. We improve the known result of the local convergence from a spectral initialization. When the signal $\bm{x}$ is real-valued, we prove that the cost function is local convex near the solution $\{\pm\bm{x}\}$. To accelerate the gradient descent, we review and apply several efficient line search methods. We also perform a comparative numerical study of the line search methods and the alternative projection method. Numerical simulations demonstrate the superior ability of LBFGS algorithm than other algorithms.

研究动机与目标

• 建立广义相位恢复问题中从随机初始化出发的梯度下降全局收敛性，克服对谱初始化的依赖。
• 分析当信号为实值时，最小二乘代价函数的局部凸性。
• 通过高效的线搜索方法（如NCG和LBFGS）加速收敛。
• 在数值上比较LBFGS、NCG和替代投影方法的性能。
• 为高斯模型和编码衍射图样模型下的成功恢复提供采样复杂度的理论保证。

提出的方法

• 将相位恢复问题重新表述为非凸最小二乘优化：$ \\min_{\\bm{z} \in \\mathbb{C}^n} f(\\bm{z}) = \\frac{1}{2m} \\sum_{r=1}^m (|\\bm{a}_r^*\\bm{z}|^2 - y_r)^2 $。
• 应用具有合适步长的梯度下降来最小化代价函数，证明当 $ m = \\mathcal{O}(n\log n) $（高斯向量）和 $ \mathcal{O}(n\log^3 n) $（编码衍射图样）时，从随机初始化出发可实现全局收敛。
• 利用复数Hessian分析和浓度不等式，证明所有局部极小值点均为全局极小值点，且概率很高。
• 通过证明Hessian在 $ \\pm\\bm{x} $ 附近正定，证明当 $ \\bm{x} \in \\mathbb{R}^n $ 时，$ f(\\bm{z}) $ 在 $ \\pm\\bm{x} $ 附近具有局部凸性。
• 采用非线性共轭梯度和有限内存BFGS（LBFGS）以实现更快收敛，且线搜索方法已适配复值函数。
• 对LBFGS、NCG和替代投影方法（如RAAR）进行对比数值研究，评估收敛速度和精度。

实验结果

研究问题

• RQ1 固定步长的梯度下降能否在广义相位恢复中从随机初始化实现全局收敛？
• RQ2 为确保以高概率实现全局收敛，所需的采样复杂度 $ m $ 是多少？
• RQ3 对于实值信号，最小二乘代价函数在真实信号附近的局部凸性如何？
• RQ4 不同线搜索方法（如LBFGS、NCG）在收敛速度和初始化鲁棒性方面有何比较？
• RQ5 LBFGS在收敛速率和精度方面是否优于传统交替投影方法？

主要发现

• 当 $ m = \\mathcal{O}(n\log n) $ 时，采用合适步长的梯度下降可从随机初始化出发实现全局收敛，适用于高斯测量向量。
• 当 $ m $ 足够大时，最小二乘代价函数的所有局部极小值点均为全局极小值点，且概率很高。
• 对于实值信号，代价函数 $ f(\\bm{z}) $ 在 $ \\pm\\bm{x} $ 附近具有局部凸性，确保在梯度下降下收敛至全局解。
• 证明了在解的邻域内，代价函数的Hessian以高概率为正定，支持其局部凸性。
• 数值结果表明，LBFGS在收敛速度和鲁棒性方面显著优于其他方法，包括NCG和替代投影方法。
• 编码衍射图样模型下的成功恢复采样复杂度为 $ \\mathcal{O}(n\log^3 n) $，优于先前的界。