[论文解读] On the Randomized Complexity of Minimizing a Convex Quadratic Function

Max Simchowitz|arXiv (Cornell University)|Jul 24, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用 10

一句话总结

本文建立了对最小化凸二次函数的随机梯度查询复杂度的首个紧致下界，表明即使在随机化条件下，要达到常数因子的相对误差，仍需要 $\Omega(\sqrt{\kappa})$ 次查询，该结果与 Nesterov 加速方法的性能相匹配。该结果通过将问题约化为在变形 Wigner 模型中估计一个植入向量，并利用随机矩阵理论和最小均方误差分析工具推导得出。

ABSTRACT

Minimizing a convex, quadratic objective of the form $f_{\mathbf{A},\mathbf{b}}(x) := \frac{1}{2}x^ op \mathbf{A} x - \langle \mathbf{b}, x angle$ for $\mathbf{A} \succ 0 $ is a fundamental problem in machine learning and optimization. In this work, we prove gradient-query complexity lower bounds for minimizing convex quadratic functions which apply to both deterministic and \emph{randomized} algorithms. Specifically, for $κ> 1$, we exhibit a distribution over $(\mathbf{A},\mathbf{b})$ with condition number $\mathrm{cond}(\mathbf{A}) \le κ$, such that any \emph{randomized} algorithm requires $Ω(\sqrtκ)$ gradient queries to find a solution $\hat x$ for which $\|\hat x - \mathbf x_\star\| \le ε_0\|\mathbf{x}_{\star}\|$, where $\mathbf x_{\star} = \mathbf{A}^{-1}\mathbf{b}$ is the optimal solution, and $ε_0$ a small constant. Setting $κ=1/ε$, this lower bound implies the minimax rate of $T = Ω(λ_1(\mathbf{A})\|\mathbf x_\star\|^2/\sqrtε)$ queries required to minimize an arbitrary convex quadratic function up to error $f(\hat{x}) - f(\mathbf x_\star) \le ε$. Our lower bound holds for a distribution derived from classical ensembles in random matrix theory, and relies on a careful reduction from adaptively estimating a planted vector $\mathbf u$ in a deformed Wigner model. A key step in deriving sharp lower bounds is demonstrating that the optimization error $\mathbf x_\star - \hat x$ cannot align too closely with $\mathbf{u}$. To this end, we prove an upper bound on the cosine between $\mathbf x_\star - \hat x$ and $\mathbf u$ in terms of the MMSE of estimating the plant $\mathbf u$ in a deformed Wigner model. We then bound the MMSE by carefully modifying a result due to Lelarge and Miolane 2016, which rigorously establishes a general replica-symmetric formula for planted matrix models.

研究动机与目标

• 为最小化凸二次函数的一阶方法的最坏情况与平均情况复杂度之间的差距提供填补。
• 建立适用于随机算法而非仅确定性算法的梯度查询复杂度下界。
• 证明即使在随机化条件下，$\Omega(\sqrt{\kappa})$ 查询的极小化率也是不可避免的，与 Nesterov 方法已知的上界相匹配。
• 从随机矩阵理论中导出一个问题实例的概率分布，以捕捉二次优化的固有难度。
• 通过与变形 Wigner 模型中最小均方误差的新型联系，证明优化误差无法与真实信号过于对齐。

提出的方法

• 将最小化凸二次函数的问题约化为在变形 Wigner 矩阵模型 $\mathbf{M} = \mathbf{W} + \lambda \mathbf{u}\mathbf{u}^\top$ 中估计一个植入向量 $\mathbf{u}$。
• 使用条件交叉项 $\mathrm{Cross}(\mathbf{u}\mathbf{u}^\top \mid \mathbf{b})$ 来界定优化误差 $\mathbf{x}_\star - \widehat{\mathsf{x}}$ 与植入向量 $\mathbf{u}$ 之间的重叠。
• 对变形参数 $\lambda \leftarrow \sqrt{\rho}$ 进行重参数化，以与 Lelarge 和 Miolane (2016) 的渐近 MMSE 分析框架对齐。
• 采用截断与旋转不变性论证，将期望重叠 $\mathtt{ovlap}_{d,\lambda}(\tau_0)$ 用均值参数化的交叉项 $\check{\mathrm{Cross}}_d(\rho; \mu)$ 表示。
• 对 Lelarge 和 Miolane (2016) 的渐近 MMSE 公式进行修改，以处理本问题中特定的条件分布与期望结构。
• 通过极限表达式 $\lim_{d\to\infty} \mathbb{E}_{\bm{\alpha}}[\mathbb{I}(|\bm{\alpha}-1|\leq d^{-1/4})\check{\mathrm{Cross}}_d(\rho; \mu\bm{\alpha})] \leq 1 + \mu^2 - \frac{1}{\rho} + \frac{|\mu|}{\sqrt{\rho}}$ 推导出重叠的统一上界。

实验结果

研究问题

• RQ1 随机化的一阶算法能否在最小化凸二次函数时实现优于确定性算法的梯度查询复杂度？
• RQ2 对于相对误差 $\|\widehat{\mathsf{x}} - \mathbf{x}_\star\| \leq \epsilon_0 \|\mathbf{x}_\star\|$，$\Omega(\sqrt{\kappa})$ 的最坏情况查询下界是否也适用于随机算法？
• RQ3 当海森矩阵 $\mathbf{A}$ 为变形 Wigner 矩阵时，植入向量 $\mathbf{u}$ 在优化误差中起什么作用？
• RQ4 能否利用变形 Wigner 模型中的最小均方误差（MMSE）来上界优化误差与真实解之间的对齐程度？
• RQ5 即使在随机化条件下，二次优化的极小化查询复杂度是否仍与 Nesterov 加速方法所达到的速率一致？

主要发现

• 本文建立了任何随机算法为实现 $\|\widehat{\mathsf{x}} - \mathbf{x}_\star\| \leq \epsilon_0 \|\mathbf{x}_\star\|$ 所需的梯度查询下界为 $\Omega(\sqrt{\kappa})$，其中 $\epsilon_0 > 0$ 为绝对常数，$\kappa = \mathrm{cond}(\mathbf{A})$。
• 该下界与 Nesterov 加速方法已知的上界 $\widetilde{\Theta}(\sqrt{\kappa})$ 相匹配，表明该速率是紧致的。
• 该下界适用于由变形 Wigner 模型导出的 $\mathbf{A}, \mathbf{b}$ 的分布，该分布是随机矩阵理论中的经典系综。
• 优化误差 $\mathbf{x}_\star - \widehat{\mathsf{x}}$ 无法与植入向量 $\mathbf{u}$ 过于对齐，该现象通过重叠 $\mathtt{ovlap}_{d,\lambda}(\tau_0)$ 量化。
• 通过修改 Lelarge 和 Miolane (2016) 的 MMSE 公式，推导出渐近界 $\lim_{d\to\infty} \mathtt{ovlap}_{d,\lambda}(\tau_0) \leq 1 - \frac{1}{\lambda^2} + \tau_0 - \frac{\sqrt{\tau_0}}{\lambda}$。
• 令 $\kappa = 1/\epsilon$，可得到 $\epsilon$-精度下目标值的无条件查询下界 $\Omega(\lambda_1(\mathbf{A})\|\mathbf{x}_\star\|^2 / \sqrt{\epsilon})$。