[论文解读] The Local Convexity of Solving Quadratic Equations

Chris D. White, Rachel Ward+1 more|arXiv (Cornell University)|Jun 25, 2015

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

该论文证明，当存在 $ m \geq C nr \log^2 n $ 个各向同性高斯测量时，从二次测量中恢复低秩正定矩阵的非凸损失函数在解流形正交方向上表现出局部强凸性。在 $ r $ 的多项式因子增加后，谱初始化可将迭代点置于该凸区域中，从而实现梯度下降线性收敛至真实解（至正交变换）。

ABSTRACT

This paper considers the recovery of a rank $r$ positive semidefinite matrix $X X^T\in\mathbb{R}^{n imes n}$ from $m$ scalar measurements of the form $y_i := a_i^T X X^T a_i$ (i.e., quadratic measurements of $X$). Such problems arise in a variety of applications, including covariance sketching of high-dimensional data streams, quadratic regression, quantum state tomography, among others. A natural approach to this problem is to minimize the loss function $f(U) = \sum_i (y_i - a_i^TUU^Ta_i)^2$ which has an entire manifold of solutions given by $\{XO\}_{O\in\mathcal{O}_r}$ where $\mathcal{O}_r$ is the orthogonal group of $r imes r$ orthogonal matrices; this is {\it non-convex} in the $n imes r$ matrix $U$, but methods like gradient descent are simple and easy to implement (as compared to semidefinite relaxation approaches). In this paper we show that once we have $m \geq C nr \log^2(n)$ samples from isotropic gaussian $a_i$, with high probability {\em (a)} this function admits a dimension-independent region of {\em local strong convexity} on lines perpendicular to the solution manifold, and {\em (b)} with an additional polynomial factor of $r$ samples, a simple spectral initialization will land within the region of convexity with high probability. Together, this implies that gradient descent with initialization (but no re-sampling) will converge linearly to the correct $X$, up to an orthogonal transformation. We believe that this general technique (local convexity reachable by spectral initialization) should prove applicable to a broader class of nonconvex optimization problems.

研究动机与目标

• 理解从二次测量中恢复低秩正定矩阵的非凸优化景观。
• 建立梯度下降在非凸性下实现线性收敛的条件。
• 证明谱初始化可可靠地将迭代点置于局部强凸性区域中。
• 展示局部凸性与维度无关，并在温和采样条件下以高概率实现。
• 通过局部凸性和初始化方法，将该方法推广至更广泛的非凸问题类别。

提出的方法

• 将恢复问题表述为在 $ U \in \mathbb{R}^{n \times r} $ 上最小化非凸损失函数 $ f(U) = \sum_i (y_i - a_i^T U U^T a_i)^2 $。
• 将解流形识别为 $ \{XO \mid O \in \mathcal{O}_r\} $，其中 $ X X^T $ 为目标矩阵。
• 分析 $ f(U) $ 的黑塞矩阵，证明在解流形正交方向上存在与维度无关的局部强凸性区域。
• 利用随机矩阵理论证明，当 $ m \geq C nr \log^2 n $ 个各向同性高斯测量时，该凸性区域以高概率存在。
• 采用谱初始化方法，在 $ m $ 增加 $ r $ 的多项式因子后，以高概率将初始迭代点置于局部凸性区域中。
• 结合局部凸性与梯度下降，实现对真实解的线性收敛（至正交变换）。

实验结果

研究问题

• RQ1 在何种采样条件下，非凸损失函数在解流形正交方向上存在局部强凸性区域？
• RQ2 谱初始化能否以高概率将迭代点置于该凸区域中？
• RQ3 确保局部凸性和成功初始化所需的最少测量数是多少？
• RQ4 当初始化点位于该凸区域时，梯度下降是否能线性收敛至解流形？
• RQ5 该框架能否推广至具有类似几何结构的其他非凸问题？

主要发现

• 当 $ m \geq C nr \log^2 n $ 个各向同性高斯测量时，损失函数在解流形正交方向上以高概率表现出局部强凸性。
• 局部强凸性区域与维度无关，即其质量不随 $ n $ 增大而恶化。
• 当 $ m $ 增加 $ r $ 的多项式因子后，谱初始化可高概率地将迭代点置于该凸区域中。
• 在该区域初始化的梯度下降可线性收敛至真实解（至正交变换）。
• 理论框架表明，该方法可广泛适用于其他可通过初始化实现局部凸性的非凸问题。
• 结果为无半定规划松弛的低秩矩阵恢复中梯度下降的实证成功提供了理论依据。