[论文解读] Neighborhood Structure Assisted Non-negative Matrix Factorization and its Application in Unsupervised Point-wise Anomaly Detection

Imtiaz Ahmed, Xia Hu+2 more|arXiv (Cornell University)|Jan 17, 2020

Face and Expression Recognition被引用 15

一句话总结

该论文提出了一种邻域结构辅助的非负矩阵分解（NS-NMF），通过将基于最小生成树（MST）的邻域结构整合到NMF中，以提升无监督点级异常检测性能。通过利用MST导出的相似性建模局部流形结构，NS-NMF在低维空间中增强了聚类与重构能力，在20个基准数据集和一个工业数据集上均优于原始NMF、GNMF、SNMF及深度学习基线方法。

ABSTRACT

Dimensionality reduction is considered as an important step for ensuring competitive performance in unsupervised learning such as anomaly detection. Non-negative matrix factorization (NMF) is a popular and widely used method to accomplish this goal. But NMF do not have the provision to include the neighborhood structure information and, as a result, may fail to provide satisfactory performance in presence of nonlinear manifold structure. To address that shortcoming, we propose to consider and incorporate the neighborhood structural similarity information within the NMF framework by modeling the data through a minimum spanning tree. We label the resulting method as the neighborhood structure assisted NMF. We further devise both offline and online algorithmic versions of the proposed method. Empirical comparisons using twenty benchmark datasets as well as an industrial dataset extracted from a hydropower plant demonstrate the superiority of the neighborhood structure assisted NMF and support our claim of merit. Looking closer into the formulation and properties of the neighborhood structure assisted NMF with other recent, enhanced versions of NMF reveals that inclusion of the neighborhood structure information using MST plays a key role in attaining the enhanced performance in anomaly detection.

研究动机与目标

• 解决标准NMF因缺乏邻域信息而难以捕捉非线性流形结构的局限性。
• 通过在NMF框架中引入局部结构相似性，提升无监督点级异常检测性能。
• 为流式数据中的可扩展与动态异常检测，开发离线与在线两种算法。
• 相比现有图正则化NMF方法（如GNMF），降低对超参数的敏感性。
• 通过在潜在空间中保持局部不变性，提升可解释性与检测性能。

提出的方法

• 构建一个数据图，其中每个数据点为一个节点，边表示成对相似性。
• 应用Prim算法在数据图上计算最小生成树（MST），以获得稀疏且近似测地距离的相似性矩阵。
• 将基于MST的相似性矩阵作为正则化项整合到NMF目标函数中，以保留局部邻域结构。
• 构建联合优化问题，同时学习基矩阵（聚类指示）与系数矩阵（属性分布）。
• 利用分解后矩阵的重构误差作为点级检测的异常评分。
• 实现一种并行块随机梯度下降算法，用于高效离线训练，并开发其在线变体以处理流式数据。

实验结果

研究问题

• RQ1 通过MST引入邻域结构是否能提升NMF在无监督异常检测中的性能？
• RQ2 NS-NMF在检测准确率与对超参数的鲁棒性方面，相较于GNMF与SNMF表现如何？
• RQ3 基于MST的相似性矩阵是否比基于欧氏距离的相似性更能保持局部流形结构？
• RQ4 NS-NMF能否在真实工业数据（如水电站数据）上保持高性能？
• RQ5 NS-NMF相较于基于深度神经网络的异常检测方法（如AER与DAGMM）表现如何？

主要发现

• NS-NMF在20个基准数据集上均优于原始NMF、GNMF与SNMF，在其中15个数据集中达到最高检测准确率。
• NS-NMF在真实世界水电站数据集上表现优异，其离线版本被电厂操作人员认定为最具竞争力的方法。
• NS-NMF对正则化参数的敏感性低于GNMF，而后者以对邻居数量与正则化强度高度敏感著称。
• 与深度学习模型相比，NS-NMF在20个数据集中有15个优于AER与DAGMM，仅在3个数据集中DAGMM胜出，AER胜出1次。
• 在Cardiotocography数据集上，NS-NMF获得29分的检测评分，与最佳基线方法（NS-NMF与AER并列）持平，且在Arrhythmia与Ionosphere等高异常数据集上显著优于其他方法。
• NS-NMF的在线变体已成功实现，并被证明适用于流式数据，标志着首次将基于NMF的异常检测方法适配至在线使用场景。