[论文解读] Subsampling Algorithms for Semidefinite Programming

Alexandre d’Aspremont|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 13, 2008

Stochastic Gradient Optimization Techniques参考文献 49被引用 4

一句话总结

本文提出了一种用于半定规划的随机梯度算法，通过子采样技术大幅降低每次迭代的计算成本，同时保持收敛性。通过控制子采样比例，该方法在每次迭代的成本与总迭代次数之间实现平衡，总复杂度与解的数值秩成正比，从而能够高效求解大规模统计学习问题。

ABSTRACT

We derive a stochastic gradient algorithm for semidefinite optimization using randomization techniques. The algorithm uses subsampling to reduce the computational cost of each iteration and the subsampling ratio explicitly controls granularity, i.e. the tradeoff between cost per iteration and total number of iterations. Furthermore, the total computational cost is directly proportional to the complexity (i.e. rank) of the solution. We study numerical performance on some large-scale problems arising in statistical learning.

研究动机与目标

• 解决内点法在非常大的半定规划问题上因每次迭代成本过高和内存带宽限制而导致的不可行性问题。
• 通过利用随机化和子采样技术，降低一阶求解器的计算粒度。
• 开发一种随机逼近算法，在显著降低每次迭代成本的同时保持收敛性。
• 明确将总计算复杂度与解的数值秩关联起来，从而实现对低秩问题的高效计算。

提出的方法

• 该算法通过随机子采样矩阵系数来近似谱范数最小化问题中的梯度。
• 它采用镜像下降随机逼近框架，其中子采样控制着迭代成本与总迭代次数之间的权衡。
• 该方法依赖于随机线性代数结果，以在使用矩阵元素的子集时，对谱范数近似误差进行有界控制。
• 子采样以概率 $ p $ 独立应用于矩阵元素，只要满足某些条件，即可在高概率下保证谱范数的近似。
• 当需要矩阵-向量乘积时，该算法使用Lanczos方法高效计算主导Ritz对。
• 通过确保所有操作都具有良好的缓存友好性，并且每步仅涉及少量固定数量的矩阵元素，从而保持每次迭代的复杂度较低。

实验结果

研究问题

• RQ1 是否可以使用子采样技术在不牺牲收敛性的情况下降低一阶半定规划求解器的每次迭代成本？
• RQ2 子采样比例如何影响每次迭代计算成本与总迭代次数之间的权衡？
• RQ3 该算法的总计算复杂度在多大程度上依赖于解的数值秩？
• RQ4 随机矩阵逼近结果能否有效集成到半定规划的随机梯度方法中？

主要发现

• 该算法的总计算成本与解的数值秩成正比，使其在低秩问题上具有高效性。
• 对于 $ n \times n $ 矩阵，该方法的复杂度为 $ O(n \log n / \epsilon^2) $，当 $ n \to \infty $ 时，仅需访问可忽略的矩阵元素比例。
• 在高概率下，谱范数近似误差满足 $ \|X - S\|_2 \leq 4\|X\|_\infty \sqrt{n/p} $，前提是 $ p \geq (8\log n)^4 / n $。
• 该算法的性能更多受限于内存带宽而非时钟速度，因此低开销且缓存友好的迭代对可扩展性至关重要。
• 当在Lanczos过程中使用随机初始向量时，Ritz向量的收敛性可高概率保证，所需迭代次数为 $ k^{\text{Lan}} \leq \frac{\log(n/\delta^2)}{4\sqrt{\epsilon}} $，以实现 $ \epsilon $ 相对精度。
• 与传统内点法相比，该方法在大规模问题上表现更优，因为它避免了昂贵的二阶计算，并支持大量廉价迭代。