[论文解读] Near-Optimal Entrywise Anomaly Detection for Low-Rank Matrices with Sub-Exponential Noise

Vivek F. Farias, Andrew A. Li+1 more|arXiv (Cornell University)|Jun 23, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 1

一句话总结

本文提出了一种新颖的低秩矩阵在次高斯噪声下的逐元素异常检测方法，将逐元素矩阵补全的保证扩展至同时处理缺失和异常条目。该方法实现了最小最大最优检测率（对数因子内），在真实零售数据上优于最先进方法。

ABSTRACT

We study the problem of identifying anomalies in a low-rank matrix observed with sub-exponential noise, motivated by applications in retail and inventory management. State of the art approaches to anomaly detection in low-rank matrices apparently fall short, since they require that non-anomalous entries be observed with vanishingly small noise (which is not the case in our problem, and indeed in many applications). So motivated, we propose a conceptually simple entrywise approach to anomaly detection in low-rank matrices. Our approach accommodates a general class of probabilistic anomaly models. We extend recent work on entrywise error guarantees for matrix completion, establishing such guarantees for sub-exponential matrices, where in addition to missing entries, a fraction of entries are corrupted by (an also unknown) anomaly model. Viewing the anomaly detection as a classification task, to the best of our knowledge, we are the first to achieve the min-max optimal detection rate (up to log factors). Using data from a massive consumer goods retailer, we show that our approach provides significant improvements over incumbent approaches to anomaly detection.

研究动机与目标

• 为解决现有低秩矩阵异常检测方法对非异常条目要求噪声趋近于零的局限性，该要求在现实应用中不切实际。
• 开发一种鲁棒的逐元素异常检测框架，以适应通用的概率异常模型。
• 建立在次高斯噪声下矩阵补全的逐元素误差保证，涵盖缺失条目和受损条目。
• 实现逐元素异常检测的最小最大最优检测率，对数因子内最优。
• 使用大型消费品零售商的真实数据验证该方法的优越性。

提出的方法

• 该方法将异常检测建模为分类任务，将每个矩阵条目视为异常状态的候选。
• 将近期从次高斯分布扩展到次高斯噪声分布的逐元素误差界，实现对重尾噪声的鲁棒性。
• 通过求解一个正则化优化问题，联合估计低秩结构并识别异常条目，该问题同时考虑了缺失数据和未知异常污染。
• 引入一类通用的概率异常模型，使模型能够灵活处理多种类型的异常。
• 利用针对次高斯随机变量设计的集中不等式推导理论保证，确保在弱假设下具有可靠的误差界。
• 该算法设计计算高效，可扩展至大规模矩阵，适用于现实世界中的库存和零售数据。

实验结果

研究问题

• RQ1 在次高斯噪声下，低秩矩阵的逐元素异常检测能否实现最优检测率？
• RQ2 在存在异常的矩阵补全中，如何将逐元素误差保证从次高斯模型扩展到次高斯噪声模型？
• RQ3 在非理想噪声条件下，该方法在真实世界场景中是否优于现有方法？
• RQ4 在次高斯噪声下，低秩矩阵逐元素异常检测的理论检测性能极限是什么？
• RQ5 该方法能否在同时处理缺失条目和未知异常污染的同时保持最优性？

主要发现

• 所提方法在低秩矩阵的逐元素异常检测中实现了最小最大最优检测率，对数因子内最优。
• 建立了次高斯噪声下的逐元素误差界，扩展了以往仅限于次高斯噪声的成果。
• 在大型消费品零售商的真实数据上，该方法显著优于现有方法，展现出实际优越性。
• 该框架成功兼容一类通用的概率异常模型，增强了其在多样化现实场景中的适用性。
• 即使非异常条目受到非趋零的次高斯噪声污染，该方法仍保持强理论保证，这是先前方法的局限。
• 实证结果证实，该方法在噪声重尾且异常稀疏的真实场景中具有鲁棒性和有效性。