[论文解读] Solving Systems of Quadratic Equations via Exponential-type Gradient Descent Algorithm

Meng Huang, Zhiqiang Xu|arXiv (Cornell University)|Jun 4, 2018

Sparse and Compressive Sensing Techniques参考文献 29被引用 3

一句话总结

本文提出一种指数型梯度下降算法，用于从高斯测量中求解低秩矩阵恢复的二次方程组。该算法在 O(nr log(cr)) 测量下实现线性收敛至真实矩阵（至正交变换意义下），显著改进了先前的界，消除了对解的条件数或弗罗贝尼乌斯范数的依赖。

ABSTRACT

We consider the rank minimization problem from quadratic measurements, i.e., recovering a rank $r$ matrix $X \in \mathbb{R}^{n imes r}$ from $m$ scalar measurements $y_i=a_i^{ op} XX^{ op} a_i,\;a_i\in \mathbb{R}^n,\;i=1,\ldots,m$. Such problem arises in a variety of applications such as quadratic regression and quantum state tomography. We present a novel algorithm, which is termed exponential-type gradient descent algorithm, to minimize a non-convex objective function $f(U)=\frac{1}{4m}\sum_{i=1}^m(y_i-a_i^{ op} UU^{ op} a_i)^2$. This algorithm starts with a careful initialization, and then refines this initial guess by iteratively applying exponential-type gradient descent. Particularly, we can obtain a good initial guess of $X$ as long as the number of Gaussian random measurements is $O(nr)$, and our iteration algorithm can converge linearly to the true $X$ (up to an orthogonal matrix) with $m=O\left(nr\log (cr) ight)$ Gaussian random measurements.

研究动机与目标

• 开发一种高效算法，用于从二次测量中恢复低秩矩阵，该问题在量子态层析成像和相位恢复等应用中出现。
• 克服先前算法的局限性，这些算法对解的条件数或弗罗贝尼乌斯范数施加了强假设。
• 在最小样本复杂度下实现线性收敛，具体为 O(nr log(cr)) 高斯测量。
• 为全局收敛至真实矩阵（至正交变换意义下）提供理论保证。

提出的方法

• 提出一种指数型梯度下降算法，通过精心初始化的低秩矩阵估计进行优化。
• 采用非凸优化形式，最小化最小二乘目标函数 f(U) = (1/4m)Σ(y_i - ||a_i^T U||²)²。
• 提出一种新颖的初始化策略，仅需 O(nr) 高斯测量即可获得良好的初始估计。
• 采用指数型梯度更新，利用目标函数的黑塞矩阵结构与曲率特性。
• 利用集中不等式与谱分析，界定向量测量下黑塞矩阵的行为。
• 利用正交不变性与奇异值分解，分析收敛至真实解（至正交矩阵意义下）的过程。

实验结果

研究问题

• RQ1 指数型梯度下降算法能否在求解低秩矩阵恢复中产生的二次方程组时实现线性收敛？
• RQ2 为确保在正交变换意义下精确恢复一个秩为 r 的矩阵，所需的最少高斯测量数是多少？
• RQ3 与依赖于条件数或弗罗贝尼乌斯范数的先前方法相比，该算法在样本复杂度上表现如何？
• RQ4 该算法能否在不依赖强初始化或对解施加严格假设的条件下实现全局收敛？
• RQ5 指数型更新规则在提升收敛性与降低测量需求方面起到了什么作用？

主要发现

• 该算法在 O(nr log(cr)) 高斯测量下，可实现对真实矩阵 X（至正交矩阵意义下）的线性收敛。
• 仅需 O(nr) 高斯测量即可获得良好的初始估计，从而实现全局收敛。
• 该方法无需对解的条件数或弗罗贝尼乌斯范数作任何假设，与先前方法形成对比。
• 理论分析表明，目标函数的黑塞矩阵在解邻域内条件良好，从而支持快速收敛。
• 指数型更新规则确保算法在温和条件下可避免不良局部极小值，并收敛至全局解。
• 样本复杂度 O(nr log(cr)) 在对数因子意义下为最优，与已知的信息论下界一致。