[论文解读] One-Class Kernel Spectral Regression for Outlier Detection.

Shervin Rahimzadeh Arashloo, Josef Kittler|arXiv (Cornell University)|Jul 3, 2018

Anomaly Detection Techniques and Applications被引用 8

一句话总结

本文提出了一种单类核谱回归（OKSR）方法，一种非线性单类分类器，将异常值检测建模为再生核希尔伯特空间中的瑞利商优化问题。通过结合谱回归与核技巧，OKSR 实现了高效的计算，其主要计算复杂度由核矩阵计算主导，从而支持增量训练、可选负样本优化的无监督学习，并能有效映射到非线性特征空间以提升异常值检测性能。

ABSTRACT

The paper introduces a new efficient nonlinear one-class classifier formulated as the Rayleigh quotient criterion optimisation. The method, operating in a reproducing kernel Hilbert subspace, minimises the scatter of target distribution along an optimal projection direction while at the same time keeping projections of positive observations distant from the mean of the negative class. We provide a graph embedding view of the problem which can then be solved efficiently using the spectral regression approach. In this sense, unlike previous similar methods which often require costly eigen-computations of dense matrices, the proposed approach casts the problem under consideration into a regression framework which is computationally more efficient. In particular, it is shown that the dominant complexity of the proposed method is the complexity of computing the kernel matrix. Additional appealing characteristics of the proposed one-class classifier are: 1-the ability to be trained in an incremental fashion (allowing for application in streaming data scenarios while also reducing the computational complexity in a non-streaming operation mode); 2-being unsupervised, but providing the option for refining the solution using negative training examples, when available; Last but not least, 3-the use of the kernel trick which facilitates a nonlinear mapping of the data into a high-dimensional feature space to seek better solutions.

研究动机与目标

• 开发一种计算高效的非线性单类分类器，用于异常值检测，避免密集矩阵特征分解的高昂计算成本。
• 在批量计算环境下保持低计算开销的同时，支持流数据应用的增量训练。
• 提供一个灵活的框架，支持无监督学习，但当有可用负样本时可进行优化。
• 利用核技巧将数据映射到高维特征空间，以提升非线性分离异常值的能力。
• 从图嵌入视角重新表述单类分类问题，以实现更优的优化性能与可解释性。

提出的方法

• 该方法将异常值检测建模为再生核希尔伯特空间中的瑞利商优化问题，以最小化目标类的散度，同时最大化与负类均值的距离。
• 采用谱回归框架，将优化问题转化为回归问题，从而减少对密集矩阵昂贵特征分解的依赖。
• 主要计算开销为核矩阵计算，对于大规模数据而言，其效率高于传统特征分解求解器。
• 通过无需完整重训练即可更新解，该方法原生支持增量学习，适用于流数据环境。
• 可选择性地集成负样本训练数据，当存在此类数据时可对决策边界进行优化。
• 核技巧使输入数据能够被非线性映射到高维特征空间，增强模型检测复杂异常模式的能力。

实验结果

研究问题

• RQ1 能否设计一种单类分类器，避免计算成本高昂的特征分解，同时保持高检测精度？
• RQ2 谱回归如何能有效适配于核诱导特征空间中的单类异常值检测？
• RQ3 在实时或流数据应用中，增量学习在非线性单类分类器中可集成到何种程度？
• RQ4 负样本的引入在多大程度上影响无监督单类分类器的性能与鲁棒性？
• RQ5 与标准公式相比，单类问题的图嵌入解释是否能带来更稳定高效的优化？

主要发现

• 所提方法通过将主要复杂度降低为核矩阵计算，避免了密集矩阵的昂贵特征分解，实现了计算效率。
• 谱回归公式相比依赖特征分解的传统单类方法，实现了更可扩展、更高效的优化过程。
• 原生支持增量训练，可在无需完整重训练的情况下高效适应流数据场景。
• 默认情况下保持无监督学习，但当有负样本时可进行优化，从而提升决策边界的质量。
• 利用核技巧可有效实现向高维特征空间的非线性映射，显著增强模型检测复杂异常模式的能力。
• 图嵌入解释为优化提供了坚实的理论基础，使该方法与成熟的谱学习原理保持一致。