[论文解读] Streaming Complexity of SVMs

Alexandr Andoni, Collin Burns+3 more|arXiv (Cornell University)|Jan 1, 2020

Stochastic Gradient Optimization Techniques参考文献 11被引用 2

一句话总结

本文研究了偏差正则化支持向量机（SVM）流算法的空间复杂度，表明在低维情形（d = 1, 2）下，点估计和优化问题均可实现次线性空间算法——分别达到 O(1/√ε) 和 O(ε⁻⁴/⁵) 的空间复杂度，同时证明了紧致或近乎紧致的下界，揭示了在流处理环境中点估计与优化之间存在严格的空间复杂度差距。

ABSTRACT

We study the space complexity of solving the bias-regularized SVM problem in the streaming model. In particular, given a data set (x_i,y_i) ∈ ℝ^d× {-1,+1}, the objective function is F_λ(θ,b) = λ/2‖(θ,b)‖₂² + 1/n∑_{i=1}ⁿ max{0,1-y_i(θ^Tx_i+b)} and the goal is to find the parameters that (approximately) minimize this objective. This is a classic supervised learning problem that has drawn lots of attention, including for developing fast algorithms for solving the problem approximately: i.e., for finding (θ,b) such that F_λ(θ,b) ≤ min_{(θ',b')} F_λ(θ',b')+ε. One of the most widely used algorithms for approximately optimizing the SVM objective is Stochastic Gradient Descent (SGD), which requires only O(1/λε) random samples, and which immediately yields a streaming algorithm that uses O(d/λε) space. For related problems, better streaming algorithms are only known for smooth functions, unlike the SVM objective that we focus on in this work. We initiate an investigation of the space complexity for both finding an approximate optimum of this objective, and for the related "point estimation" problem of sketching the data set to evaluate the function value F_λ on any query (θ, b). We show that, for both problems, for dimensions d = 1,2, one can obtain streaming algorithms with space polynomially smaller than 1/λε, which is the complexity of SGD for strongly convex functions like the bias-regularized SVM [Shalev-Shwartz et al., 2007], and which is known to be tight in general, even for d = 1 [Agarwal et al., 2009]. We also prove polynomial lower bounds for both point estimation and optimization. In particular, for point estimation we obtain a tight bound of Θ(1/√{ε}) for d = 1 and a nearly tight lower bound of Ω̃(d/{ε}²) for d = Ω(log(1/ε)). Finally, for optimization, we prove a Ω(1/√{ε}) lower bound for d = Ω(log(1/ε)), and show similar bounds when d is constant.

研究动机与目标

• 理解在流模型中求解偏差正则化 SVM 问题的空间复杂度。
• 探究是否存在比标准 SGD 更优的流算法用于非光滑目标函数（如 SVM），后者需要 O(d/λε) 的空间。
• 为低维情形下的点估计与优化建立紧致或近乎紧致的下界。
• 证明即使在 d = 1 的情况下，点估计与优化之间的空间复杂度也存在严格差距。
• 探索对任意查询 (θ, b) 在允许 ε 的加法误差下评估 SVM 目标函数时，数据压缩的可行性。

提出的方法

• 提出一种新颖的流算法用于低维情形（d = 1, 2）的点估计，基于几何与概率论证，分别实现 O(1/√ε) 和 O(ε⁻⁴/⁵) 的空间复杂度。
• 通过网集论证将优化问题归约为点估计问题，表明良好的点估计器可实现近似 SVM 优化。
• 利用精心构造的数据点 (xα, xβ, xq) 和辅助点 vi，通过控制内积关系来模拟支持向量行为，构建困难实例。
• 利用强凸性与基于梯度的分析，推导出在两种不同数据配置下最优解之间距离的下界。
• 应用通信复杂度框架，通过归约为两方问题（Bob 必须区分两组数据）来证明下界。
• 利用 λ = δ² 的关系，并设定 n = 1/(20√ε) 以校准参数，确保下界构造在流处理约束下依然有效。

实验结果

研究问题

• RQ1 对于 d > 1，能否实现空间复杂度次线性于 n 的偏差正则化 SVM 点估计？
• RQ2 在低维情形（d = 1, 2）下，SVM 目标函数流式点估计的最优空间复杂度是多少？
• RQ3 在流模型中，SVM 的点估计与优化之间是否存在可证明的空间复杂度差距？
• RQ4 流算法能否在非光滑目标函数（如 SVM）上实现优于 SGD 的空间复杂度？
• RQ5 在 d = 1 和 d ≥ 2 的流设置下，点估计与优化的紧致或近乎紧致下界是什么？

主要发现

• 当 d = 1 时，本文实现了 O(1/√ε) 的点估计空间复杂度，其紧致性仅相差对数因子。
• 当 d = 2 时，本文实现了 O(ε⁻⁴/⁵) 的点估计空间复杂度，且下界为 Ω(ε⁻³/⁵)，表明近乎最优。
• 当 d = Ω(log(1/ε)) 时，本文证明了点估计的下界为 Ω(d/(ε² polylog(1/ε)))，其紧致性仅相差多项式对数因子。
• 当 d = Ω(log(1/ε)) 时，本文建立了优化问题的 Ω(1/√ε) 下界，表明其与 SGD 的 O(1/λε) 复杂度存在严格差距。
• 结果表明，在流模型中，即使 d = 1，点估计所需空间也显著多于优化。
• 当 d = 2 且 λ = Θ(1/n²) 时，压缩的下界为 Ω(ε⁻¹/⁴)；当 d ≥ 3 且 λ = Θ(1/n) 时，下界为 Ω(ε⁻¹/²)，显示出对维度与正则化参数的依赖性。