[论文解读] Outlier Detection on Mixed-Type Data: An Energy-based Approach

Kien Do, Truyen Tran+2 more|arXiv (Cornell University)|Aug 17, 2016

Anomaly Detection Techniques and Applications参考文献 19被引用 5

一句话总结

本文提出了一种新颖的无监督异常检测方法，针对混合类型数据，利用扩展的混合变量受限玻尔兹曼机（Mv.RBM）导出的自由能。该方法通过Mv.RBM的高效密度估计实现，其中自由能作为有原则的异常评分，其数学形式与负对数密度相差一个常数，因此在真实世界数据集上优于单类型和混合类型基线方法，达到最先进性能。

ABSTRACT

Outlier detection amounts to finding data points that differ significantly from the norm. Classic outlier detection methods are largely designed for single data type such as continuous or discrete. However, real world data is increasingly heterogeneous, where a data point can have both discrete and continuous attributes. Handling mixed-type data in a disciplined way remains a great challenge. In this paper, we propose a new unsupervised outlier detection method for mixed-type data based on Mixed-variate Restricted Boltzmann Machine (Mv.RBM). The Mv.RBM is a principled probabilistic method that models data density. We propose to use \emph{free-energy} derived from Mv.RBM as outlier score to detect outliers as those data points lying in low density regions. The method is fast to learn and compute, is scalable to massive datasets. At the same time, the outlier score is identical to data negative log-density up-to an additive constant. We evaluate the proposed method on synthetic and real-world datasets and demonstrate that (a) a proper handling mixed-types is necessary in outlier detection, and (b) free-energy of Mv.RBM is a powerful and efficient outlier scoring method, which is highly competitive against state-of-the-arts.

研究动机与目标

• 解决包含连续型、二值型、计数型和名义型变量等异质数据中异常检测的挑战。
• 开发一种可扩展且有原则的方法，无需启发式假设或数据编码，即可对不同数据类型之间的相关性进行建模。
• 证明对混合数据类型的恰当处理对于有效异常检测至关重要，而将单类型方法应用于转换后的数据则不足以达到理想效果。
• 与最先进基线方法进行对比评估，证明该方法在准确性和效率方面均具有优越性。

提出的方法

• 该方法将混合变量受限玻尔兹曼机（Mv.RBM）扩展至使用泊松分布对计数属性进行建模，从而实现对多种数据类型的联合建模。
• 采用Mv.RBM的自由能作为异常评分，其数学形式与负对数密度相差一个加法常数，从而实现有原则的基于密度的异常检测。
• 通过自适应学习率（大规模数据集使用Adam优化）的随机梯度下降进行Mv.RBM训练，实现大规模数据集上的高效且可扩展的学习。
• 通过单次矩阵投影高效计算自由能，使推理快速，适用于实时应用。
• 通过二值隐变量捕捉不同类型之间的相关性，避免直接建模跨类型依赖关系。
• 通过基于自由能值对实例进行排序执行异常检测，自由能值越低表示数据密度越低，异常可能性越高。

实验结果

研究问题

• RQ1 是否能够通过统一的概率模型有效处理混合类型数据的异常检测，而无需数据类型转换或启发式距离组合？
• RQ2 将Mv.RBM的自由能用作异常评分，是否能提供比现有基于密度或基于距离的方法更准确且可扩展的替代方案？
• RQ3 对混合类型数据的恰当建模是否对有效异常检测至关重要，还是对转换后数据使用单类型方法已足够？
• RQ4 与最先进混合类型异常检测技术相比，该方法在性能和可扩展性方面表现如何？

主要发现

• 所提出的基于Mv.RBM的方法在七个混合类型数据集上平均F-score达到0.91，显著优于次优方法（BMM）的平均8.3%。
• 在KDD99-10数据集上，该方法AUC达到0.914，表明自由能分布中内点与异常点具有良好的分离性。
• 在最大数据集KDD99-10上，该方法相比最佳单类型基线（PPCA）提升29.1%，凸显其可扩展性与有效性。
• 单类型方法的平均F-score为0.66，而混合类型方法的平均F-score为0.77，表明对混合类型数据的恰当处理对高性能至关重要。
• Mv.RBM模型在Auto MPG和KDD99-10数据集上均达到完美的F-score（1.00），表明其在多样化数据类型上的强泛化能力。
• 该方法具有高度可扩展性，通过随机梯度下降和矩阵投影实现高效训练与推理，适用于大规模数据集。