[论文解读] The local convexity of solving systems of quadratic equations

Chris D. White, Sujay Sanghavi+1 more|arXiv (Cornell University)|Jun 25, 2015

Sparse and Compressive Sensing Techniques参考文献 34被引用 24

一句话总结

该论文证明，通过在各向同性高斯测量下，对低秩矩阵分解的非凸形式使用梯度下降求解二次方程组时，在解流形正交方向上表现出局部强凸性。当样本数满足 $ m \geq Cnr/\log^2(n) $ 时，谱初始化以高概率落入该凸区域，从而实现对真实解的线性收敛（至正交变换）。

ABSTRACT

This paper considers the recovery of a rank $r$ positive semidefinite matrix $X X^T\in\mathbb{R}^{n imes n}$ from $m$ scalar measurements of the form $y_i := a_i^T X X^T a_i$ (i.e., quadratic measurements of $X$). Such problems arise in a variety of applications, including covariance sketching of high-dimensional data streams, quadratic regression, quantum state tomography, among others. A natural approach to this problem is to minimize the loss function $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$ which has an entire manifold of solutions given by $\{XO\}_{O\in\mathcal{O}_r}$ where $\mathcal{O}_r$ is the orthogonal group of $r imes r$ orthogonal matrices; this is {\it non-convex} in the $n imes r$ matrix $U$, but methods like gradient descent are simple and easy to implement (as compared to semidefinite relaxation approaches). In this paper we show that once we have $m \geq C nr \log^2(n)$ samples from isotropic gaussian $a_i$, with high probability {\em (a)} this function admits a dimension-independent region of {\em local strong convexity} on lines perpendicular to the solution manifold, and {\em (b)} with an additional polynomial factor of $r$ samples, a simple spectral initialization will land within the region of convexity with high probability. Together, this implies that gradient descent with initialization (but no re-sampling) will converge linearly to the correct $X$, up to an orthogonal transformation. We believe that this general technique (local convexity reachable by spectral initialization) should prove applicable to a broader class of nonconvex optimization problems.

研究动机与目标

• 理解从二次测量中恢复低秩正定矩阵的非凸优化景观。
• 确定在何种条件下，尽管问题具有非凸性，梯度下降仍能实现线性收敛。
• 证明谱初始化以高概率落入局部强凸区域。
• 证明解可通过正交变换恢复，避免使用半定规划松弛。

提出的方法

• 将恢复问题表述为最小化损失函数 $ f(U) = \sum_i (y_i - a_i^T UU^T a_i)^2 $，其中 $ U \in \mathbb{R}^{n \times r} $ 是未知矩阵 $ XX^T $ 的低秩因子。
• 分析损失函数的黑塞矩阵，并证明在 $ m \geq Cnr\log^2(n) $ 时，以高概率在解流形正交方向上保持一致正定。
• 采用基于线性测量张量的主奇异向量的谱初始化方法来初始化 $ U $，确保其位于局部凸区域之内。
• 利用测度集中与随机矩阵理论，界定向量黑塞矩阵与其期望的偏差，从而建立局部强凸性。
• 使用拟牛顿法（MATLAB 中的 fminunc）进行局部优化，无需额外采样或重新初始化。
• 证明梯度下降在给定采样复杂度下，以与维度无关的收敛率线性收敛至解流形（至正交变换）

实验结果

研究问题

• RQ1 从二次测量中恢复低秩矩阵的非凸损失函数，在解流形正交方向上是否表现出局部强凸性？
• RQ2 谱初始化是否以高概率将迭代点置于该问题的局部凸区域中？
• RQ3 为确保局部凸性与梯度下降收敛，所需的各向同性高斯测量的最小数量是多少？
• RQ4 在单次初始化下，梯度下降能否实现对真实解的线性收敛（至正交变换），而无需重采样？

主要发现

• 当 $ m \geq Cnr\log^2(n) $ 时，以高概率在解流形正交方向上存在与维度无关的局部强凸区域。
• 在额外增加 $ r $ 的多项式因子后，谱初始化以高概率落入局部凸区域。
• 通过谱初始化的梯度下降可线性收敛至解流形（至正交变换），无需重采样。
• 收敛率与环境维度 $ n $ 无关，且该方法可实现全局恢复（至正交等价）。
• 数值实验验证了对加性噪声的鲁棒性，并在不同测量集合中观察到恢复性能的相变现象。
• 理论框架表明，该方法可推广至其他具有类似局部凸性结构的非凸问题。