[论文解读] RanBox: Anomaly Detection in the Copula Space

T. Dorigo, Martina Fumanelli+4 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Chemical Sensor Technologies被引用 9

一句话总结

RanBox 是一种新颖的无监督异常检测方法，通过将数据转换到标准化的依存结构（copula）空间，并在该空间中基于梯度搜索具有统计显著性局部均匀性破坏的子空间，从而识别高维特征空间中的局部密度异常。该方法在探测粒子物理数据中紧凑信号区域方面优于监督方法，尤其在信号建模有限且背景变化剧烈的情况下表现更优。

ABSTRACT

The unsupervised search for overdense regions in high-dimensional feature spaces, where locally high population densities may be associated with anomalous contaminations to an otherwise more uniform population, is of relevance to applications ranging from fundamental research to industrial use cases. Motivated by the specific needs of searches for new phenomena in particle collisions, we propose a novel approach that targets signals of interest populating compact regions of the feature space. The method consists in a systematic scan of subspaces of a standardized copula of the feature space, where the minimum p-value of a hypothesis test of local uniformity is sought by gradient descent. We characterize the performance of the proposed algorithm and show its effectiveness in several experimental situations.

研究动机与目标

• 开发一种对高维特征空间中常见的紧凑、局部化信号区域敏感的无监督异常检测方法，这些空间在粒子物理中普遍存在。
• 解决依赖预设信号模型和背景模拟的监督方法的局限性。
• 实现对对撞机数据的系统性、模型无关的探索，以发现未知信号形态的新物理现象。
• 在信号微弱或难以通过边缘分布区分的相空间区域中提升检测灵敏度。
• 提供一种稳健且通用的异常检测工具，可广泛应用于粒子物理以外的领域。

提出的方法

• 将原始特征空间转换为标准化的依存结构空间，以标准化边缘分布并稳定密度估计。
• 采用滑动窗口方法，系统性扫描依存结构变换后数据的所有可能子空间。
• 对每个子空间，计算应用非参数局部均匀性检验（如柯尔莫哥洛夫-斯米尔诺夫检验或克拉姆-冯·米斯检验）后得到的最小 p 值。
• 通过梯度下降优化子空间位置，以最小化 p 值，从而识别具有统计显著性密度异常的区域。
• 引入 RanBoxIter，一种迭代优化变体，通过基于先前检测结果细化搜索空间，提升定位精度。
• 利用生成的 p 值图对候选异常区域进行排序，并识别潜在的信号候选。

实验结果

研究问题

• RQ1 基于依存结构的变换是否能提升在具有极端密度变化的高维异质数据中检测局部异常的能力？
• RQ2 在无预设信号建模的情况下，对子空间进行梯度优化搜索在识别紧凑信号区域方面的有效性如何？
• RQ3 在新物理搜索中，RanBox 在哪些场景下优于或可与监督分类方法互补？
• RQ4 当信号事件稀疏且难以通过边缘分布分离时，RanBox 的异常检测性能如何？
• RQ5 在真实对撞机数据中，RanBox 对背景变化和系统不确定性具有多大程度的鲁棒性？

主要发现

• 即使在信号不可见于边缘分布或标准投影的情况下，RanBox 仍能成功检测出高维特征空间中的紧凑信号区域。
• 该方法在低信号占比场景下与神经网络和提升决策树等监督分类器相比表现出具有竞争力的性能。
• 依存结构变换有效稳定了背景密度高度变化区域的密度估计，从而实现了可靠的异常检测。
• RanBoxIter 通过迭代细化候选区域，提升了定位精度，减少了误报并增强了信号分辨率。
• 该算法在多种数据集（包括合成数据、粒子物理数据和欺诈检测基准）中表现出强大的泛化能力。
• RanBox 在高维设置（数十个特征）下依然有效，但若不进行降维，计算成本会显著增加。