[论文解读] Using SVDD in SimpleMKL for 3D-Shapes Filtering

Gaëlle Loosli, Hattoibe Aboubacar|arXiv (Cornell University)|Dec 7, 2017

Anomaly Detection Techniques and Applications参考文献 10被引用 3

一句话总结

本文提出了MK-SVDD和Slim-MK-SVDD，作为支持向量数据描述（SVDD）在SimpleMKL框架下的新型扩展，用于三维形状过滤与异常检测。通过引入一种新型惩罚项以偏好更紧密的决策边界，Slim-MK-SVDD在有监督和无监督设置下均优于标准SVDD和One-Class SVM，尤其在仅用少量正样本区分相似的三维形状类别时表现更优。

ABSTRACT

This paper proposes the adaptation of Support Vector Data Description (SVDD) to the multiple kernel case (MK-SVDD), based on SimpleMKL. It also introduces a variant called Slim-MK-SVDD that is able to produce a tighter frontier around the data. For the sake of comparison, the equivalent methods are also developed for One-Class SVM, known to be very similar to SVDD for certain shapes of kernels. Those algorithms are illustrated in the context of 3D-shapes filtering and outliers detection. For the 3D-shapes problem, the objective is to be able to select a sub-category of 3D-shapes, each sub-category being learned with our algorithm in order to create a filter. For outliers detection, we apply the proposed algorithms for unsupervised outliers detection as well as for the supervised case.

研究动机与目标

• 解决仅使用目标形状类别少量正样本进行三维形状过滤的挑战。
• 通过SimpleMKL算法将SVDD适配至多核学习（MKL）框架，以提升泛化能力与灵活性。
• 通过一种新型惩罚项开发更紧密决策边界的方法，减少过拟合并改善与相似类别的分离。
• 在三维形状数据集上，于有监督和无监督的异常检测场景中评估所提方法。

提出的方法

• 通过凸权重组合核函数的原始优化问题，将SVDD扩展至多核设置，确保最小球体包含所有正样本训练数据。
• 利用拉格朗日松弛法与KKT条件推导MK-SVDD的对偶问题，使优化可在SimpleMKL框架下通过基于梯度的求解器实现。
• 通过在SimpleMKL目标函数中增加惩罚项，提出Slim-MK-SVDD，以抑制依赖少数支持向量的解，促进更紧密的决策边界。
• 在多核组合中使用高斯核与多项式核，核权重通过满足单纯形约束的梯度下降法学习。
• 采用扩展Reeb图作为三维形状描述子，将形状数据表示为适合核方法的高维特征空间。
• 在多个三维形状过滤与异常检测任务中，将MK-SVDD和Slim-MK-SVDD与标准SVDD、One-Class SVM及MK-OCSVM进行比较。

实验结果

研究问题

• RQ1 能否通过SimpleMKL算法有效将SVDD扩展至多核学习（MKL）框架，以实现三维形状过滤？
• RQ2 所提出的Slim-MK-SVDD变体在三维形状分类任务中是否能产生比标准MK-SVDD和MK-OCSVM更紧密的决策边界？
• RQ3 当仅提供少量正样本时，MK-SVDD和Slim-MK-SVDD在区分目标三维形状类别与相似类别方面表现如何？
• RQ4 所提方法能否在仅使用正样本训练的情况下，有效实现有监督和无监督设置下的异常检测？

主要发现

• 在区分目标三维形状类别与相似类别任务中，Slim-MK-SVDD的平均AUC达到0.945，显著优于MK-OCSVM（AUC 0.64）和MK-SVDD（AUC 0.94）。
• 在从所有其他类别中过滤目标类别的任务中，Slim-MK-SVDD的平均AUC为0.90，平均首次正样本排名为7.5，表明具备出色的早期检测能力。
• 在最具挑战性的场景（类别11）中，Slim-MK-SVDD的AUC为0.93，首次目标样本平均排名为8.7，优于MK-OCSVM（AUC 0.93但首次目标样本排名为128.1）。
• 与MK-SVDD相比，Slim-MK-SVDD将首次目标样本的平均排名从13.5降低至2.6（类别1），证明其在分离相似类别方面具有显著优势。
• 在异常检测任务中，Slim-MK-SVDD在有监督设置下取得20%的胜率，显著优于随机基线（33%），并优于MK-OCSVM（胜率0%）。
• 所提出的惩罚项使Slim-MK-SVDD在区分相似形状类别时，平均AUC相比标准MK-SVDD提升15%。