[论文解读] On the Gap Between Strict-Saddles and True Convexity: An Omega(log d) Lower Bound for Eigenvector Approximation

Max Simchowitz, A. El Alaoui+1 more|arXiv (Cornell University)|Apr 14, 2017

Stochastic Gradient Optimization Techniques参考文献 50被引用 7

一句话总结

本文在oracle模型下，针对使用自适应、随机算法近似对称矩阵的主特征向量问题，建立了Ω(log d)的查询复杂度下界。该结果揭示了凸优化与严格鞍点优化之间的根本性差距：虽然凸问题的一阶梯法具有与维度无关的复杂度，但针对秩一PCA——一个典型的严格鞍点问题——的基于梯度的方法即使在特征值间隙有界的情况下，也必须承受对维度的对数依赖。

ABSTRACT

We prove a \emph{query complexity} lower bound on rank-one principal component analysis (PCA). We consider an oracle model where, given a symmetric matrix $M \in \mathbb{R}^{d imes d}$, an algorithm is allowed to make $T$ \emph{exact} queries of the form $w^{(i)} = Mv^{(i)}$ for $i \in \{1,\dots,T\}$, where $v^{(i)}$ is drawn from a distribution which depends arbitrarily on the past queries and measurements $\{v^{(j)},w^{(j)}\}_{1 \le j \le i-1}$. We show that for a small constant $ε$, any adaptive, randomized algorithm which can find a unit vector $\widehat{v}$ for which $\widehat{v}^{ op}M\widehat{v} \ge (1-ε)\|M\|$, with even small probability, must make $T = Ω(\log d)$ queries. In addition to settling a widely-held folk conjecture, this bound demonstrates a fundamental gap between convex optimization and "strict-saddle" non-convex optimization of which PCA is a canonical example: in the former, first-order methods can have dimension-free iteration complexity, whereas in PCA, the iteration complexity of gradient-based methods must necessarily grow with the dimension. Our argument proceeds via a reduction to estimating the rank-one spike in a deformed Wigner model. We establish lower bounds for this model by developing a "truncated" analogue of the $χ^2$ Bayes-risk lower bound of Chen et al.

研究动机与目标

• 解决关于使用一阶梯法优化严格鞍点问题（如秩一PCA）内在困难性的广泛猜想。
• 研究梯度基算法在严格鞍点问题中的迭代复杂度是否必须随环境维度增长，而不同于真正凸情形下的情况。
• 在oracle查询模型中，为特征向量近似建立一个依赖维度的下界，该模型中算法通过访问矩阵-向量乘积获取信息。
• 证明即使在特征值间隙有界的有利情况下，任何自适应随机算法也无法以非可忽略的成功概率实现亚对数查询复杂度。
• 在查询复杂度和算法效率方面，形式化凸优化与非凸（严格鞍点）优化之间的根本性分离。

提出的方法

• 将特征向量近似问题简化为在变形Wigner随机矩阵模型中估计秩一信号的问题。
• 基于Chen等人[26]的χ²贝叶斯风险下界技术，发展了一种截断版本，以在自适应查询设置中建立信息论极限。
• 通过递归应用Fano不等式来控制每次查询的信息增益，并将其适配到算法的自适应与随机特性。
• 利用球面等周不等式来限制随机单位向量与固定方向之间内积的集中性，从而实现尾部概率估计。
• 通过归约到假设检验，表明区分算子范数大于λ与小于2+o(1)的矩阵需要Ω(log d / log λ)次查询。
• 通过建模隐藏信号方向的后验分布，分析自适应测量策略的信息论极限。

实验结果

研究问题

• RQ1 一阶梯法在严格鞍点问题（如秩一PCA）中是否能实现与维度无关的迭代复杂度，类似于凸优化？
• RQ2 任何自适应、随机算法为在最优值的常数因子内近似主特征向量，所需的最少矩阵-向量查询次数是多少？
• RQ3 在严格鞍点设置下，即使特征值间隙远离零，特征向量近似的维度对数依赖是否为必要？
• RQ4 PCA的梯度基方法的查询复杂度能否与d无关，还是Ω(log d)是根本性的下界？
• RQ5 在变形Wigner矩阵中估计秩一信号的信息论复杂度如何随维度d变化？

主要发现

• 任何自适应、随机算法，若以非可忽略的概率找到单位向量$\widehat{v}$使得$\widehat{v}^\top M\widehat{v} \geq \Omega(\|M\|)$，则必须进行$T = \Omega(\log d)$次查询。
• 若查询次数$T$被限制为小常数倍的$\log d / \log(1/\gamma)$，则成功概率至多为$e^{-d^{\Omega(1)}}$，表明成功可能性呈指数衰减。
• 对于测试$\|M\| \geq \lambda$（其中$\lambda \geq 2 + \Omega(1)$），需要$\Omega(\log d / \log \lambda)$次自适应查询。
• 该下界对从变形Wigner模型中抽取的典型对称矩阵成立，而不仅限于对抗性实例，表明log d因子是问题本身的固有属性。
• 该结果建立了凸优化与严格鞍点优化之间的根本性差距：虽然凸问题允许与维度无关的迭代复杂度，但PCA必须付出$\Omega\left(\log d\right)$次查询。
• 分析证实，幂迭代法和Lanczos算法在对数因子内是信息论最优的，因为其查询复杂度与下界一致。