[论文解读] Streamed Learning: One-Pass SVMs

Piyush Rai, Hal Daumé+1 more|ArXiv.org|Aug 5, 2009

Machine Learning and Algorithms参考文献 14被引用 9

一句话总结

本文提出 StreamSVM，一种针对 $ε$-正则化 $ε$-SVM 的单遍流式算法，通过最小包围球（MEB）公式化实现高效、时间复杂度为多对数的计算以及每个样本的恒定存储。通过将流式 MEB 更新适配至 SVM 权重向量，采用类似在线的更新方式，该方法在仅单次数据遍历下实现了对最优解的 $(3/2)$-近似，同时在真实和合成数据集上保持了具有竞争力的分类准确率。

ABSTRACT

We present a streaming model for large-scale classification (in the context of $\ell_2$-SVM) by leveraging connections between learning and computational geometry. The streaming model imposes the constraint that only a single pass over the data is allowed. The $\ell_2$-SVM is known to have an equivalent formulation in terms of the minimum enclosing ball (MEB) problem, and an efficient algorithm based on the idea of \emph{core sets} exists (Core Vector Machine, CVM). CVM learns a $(1+\varepsilon)$-approximate MEB for a set of points and yields an approximate solution to corresponding SVM instance. However CVM works in batch mode requiring multiple passes over the data. This paper presents a single-pass SVM which is based on the minimum enclosing ball of streaming data. We show that the MEB updates for the streaming case can be easily adapted to learn the SVM weight vector in a way similar to using online stochastic gradient updates. Our algorithm performs polylogarithmic computation at each example, and requires very small and constant storage. Experimental results show that, even in such restrictive settings, we can learn efficiently in just one pass and get accuracies comparable to other state-of-the-art SVM solvers (batch and online). We also give an analysis of the algorithm, and discuss some open issues and possible extensions.

研究动机与目标

• 解决传统批量 SVM 在大规模和流式数据场景下的可扩展性限制。
• 开发一种流式学习算法，满足严格约束：单次遍历数据、多对数时间复杂度计算和恒定存储。
• 通过几何与优化关联，将最小包围球（MEB）问题的流式解法适配至 $ε$-SVM 公式化。
• 在上述约束下，为流式 SVM 提供理论近似保证，特别是 $(3/2)$-近似界。
• 与最先进批量及在线 SVM 求解器相比，实证评估该方法的准确率与效率。

提出的方法

• 将 $ε$-SVM 原始问题在特征空间中重表述为最小包围球（MEB）问题，利用先前研究建立的等价性。
• 采用一种流式 MEB 算法，通过类似核心集的更新方式，增量式维护一个 $(1+\varepsilon)$-近似 MEB，并将其适配至 SVM 权重向量。
• 在每个新到达的样本处，执行多对数时间复杂度的计算，以更新 MEB 中心与半径，其直接对应于 SVM 权重向量与偏置。
• 更新规则模仿在线随机梯度下降，但基于几何 MEB 更新，确保在流式约束下的稳定性和收敛性。
• 引入一种前瞻变体，以提升对对抗性数据排序的鲁棒性，利用最近点的窗口来优化 MEB 估计。
• 通过仅追踪 MEB 中心与半径（或等价的权重向量与偏置），实现恒定存储，避免存储完整数据。

实验结果

研究问题

• RQ1 能否在多对数时间复杂度与恒定存储约束下，使单遍流式算法在 $ε$-SVM 上实现具有竞争力的分类准确率？
• RQ2 单遍流式 MEB 算法能达到的最佳近似比是多少？该结果能否推广至 SVM 场景？
• RQ3 引入前瞻机制是否能提升在对抗性数据排序下的近似质量或鲁棒性？
• RQ4 能否利用椭球等几何结构（而非球体）获得更紧的近似界并提升流式 SVM 的性能？
• RQ5 理论近似界 $3/2$ 与真实世界数据集上的实际性能相比如何？

主要发现

• StreamSVM 实现了对最优 $ε$-SVM 解的理论 $(3/2)$-近似，为次优性提供了可证明的上界。
• 尽管理论边界较为保守，该算法在合成与真实世界数据集上均实现了与最先进批量及在线 SVM 求解器相当的分类准确率。
• 该方法每样本仅需多对数时间复杂度计算与恒定存储，适用于大规模及内存受限环境。
• 前瞻变体提升了对不良排序数据流的鲁棒性，但在对抗性设置下并未改善理论近似界。
• 实验结果表明，该算法学习到的模型比标准求解器更简单（支持向量更少），暗示可能具有更好的泛化能力或稀疏性。
• 理论分析确认，在对抗性设置下，近似比的下界 $(1+\sqrt{2})/2 \approx 1.207$ 是紧的，且所提算法可实现 $3/2$ 的上界。