[论文解读] Scalable Support Vector Clustering Using Budget

Tung Pham, Trung Le+1 more|arXiv (Cornell University)|Sep 19, 2017

Anomaly Detection Techniques and Applications参考文献 8被引用 3

一句话总结

本文提出了一种基于随机梯度下降（SGD）并引入预算约束的可扩展支持向量聚类方法，以克服传统基于支持向量的聚类方法计算成本过高的问题。通过将新颖性领域建模为超平面，并采用预算化SGD，该方法在保持与基线方法相当聚类质量的同时，显著降低了训练和聚类时间，尤其在大规模数据集上表现突出。

ABSTRACT

Owing to its application in solving the difficult and diverse clustering or outlier detection problem, support-based clustering has recently drawn plenty of attention. Support-based clustering method always undergoes two phases: finding the domain of novelty and performing clustering assignment. To find the domain of novelty, the training time given by the current solvers is typically over-quadratic in the training size, and hence precluding the usage of support-based clustering method for large-scale datasets. In this paper, we propose applying Stochastic Gradient Descent (SGD) framework to the first phase of support-based clustering for finding the domain of novelty and a new strategy to perform the clustering assignment. However, the direct application of SGD to the first phase of support-based clustering is vulnerable to the curse of kernelization, that is, the model size linearly grows up with the data size accumulated overtime. To address this issue, we invoke the budget approach which allows us to restrict the model size to a small budget. Our new strategy for clustering assignment enables a fast computation by means of reducing the task of clustering assignment on the full training set to the same task on a significantly smaller set. We also provide a rigorous theoretical analysis about the convergence rate for the proposed method. Finally, we validate our proposed method on the well-known datasets for clustering to show that the proposed method offers a comparable clustering quality while simultaneously achieving significant speedup in comparison with the baselines.

研究动机与目标

• 解决传统基于支持向量的聚类方法计算复杂度过高的问题，其复杂度随数据集规模呈超二次方增长。
• 通过用快速的随机梯度下降（SGD）框架替代缓慢的优化求解器，实现大规模数据集的可扩展聚类。
• 通过引入预算约束来限制支持向量的累积，缓解核化带来的“维度灾难”问题，即模型大小随数据量线性增长。
• 提出一种新颖的聚类分配策略，通过聚焦于平衡点而非整个训练集，降低计算复杂度。
• 针对支持向量聚类中的预算化SGD优化方法，提供严格的理论收敛性分析。

提出的方法

• 将传统的基于超球面的新颖性领域替换为超平面，以支持SGD优化。
• 应用文献[33]中的SGD框架，求解特征空间中最优超平面的优化问题。
• 引入预算维护机制（移除、投影或合并）以限制支持向量数量，防止模型规模爆炸。
• 提出一种新的聚类分配策略：每个数据点沿轨迹移动至一个平衡点，从而将分配复杂度降低至较小的平衡点集合。
• 实现三种变体：BSGD-R（移除策略）、BSGD-PNN（基于k-最近邻的投影）和BSGD-PRN（基于k-随机邻的投影）用于预算管理。
• 理论分析表明，在标准假设下，所提出的预算化SGD方法具有收敛性，确保了算法的稳定性和性能。

实验结果

研究问题

• RQ1 能否有效将基于SGD的优化方法应用于支持向量聚类的新颖性领域阶段，以实现可扩展性？
• RQ2 预算约束在核化SGD聚类中如何缓解核化带来的“维度灾难”问题？
• RQ3 基于平衡点轨迹的聚类分配策略是否在不牺牲聚类质量的前提下降低了计算成本？
• RQ4 在真实世界数据集上，该方法与最先进基线方法相比，在聚类准确率和训练速度方面表现如何？
• RQ5 所提出的预算化SGD算法在支持向量聚类背景下的理论收敛速率是多少？

主要发现

• 所提方法在15个基准数据集上实现了与最先进基线方法相当的聚类质量，其中在12个数据集上取得了最佳纯度。
• BSGD-R变体（移除策略）是最快的聚类分配方法，在所有基线中聚类时间最短，尤其在Musk和Shuttle等大规模数据集上表现显著。
• 在D31数据集上，训练时间从SVC的467.72秒降低至BSGD-R的4.58秒，实现了100倍的速度提升。
• 该方法在全部15个数据集上均取得了最佳DB指数，表明聚类具有更优的紧凑性和分离性。
• BSGD-PNN变体虽然略慢于BSGD-PRN，但在11个数据集上取得了最佳NMI，显示出在标准化互信息指标上的优异表现。
• 理论分析证实了所提预算化SGD方法的收敛性，为其可扩展性和鲁棒性提供了坚实基础。