[论文解读] New Methods and Datasets for Group Anomaly Detection From Fundamental Physics

Gregor Kasieczka, Benjamin Nachman+1 more|arXiv (Cornell University)|Jul 6, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本论文提出了LHCO2020基准数据集，用于基本粒子物理中的无监督组异常检测，特别针对大型强子对撞机（LHC）的新物理搜索。该研究评估了SOTA方法如CWoLa和ANODE，表明这些方法可将统计显著性提升多达十倍，从而在无需异常标签的情况下实现对新粒子的敏感探测。

ABSTRACT

The identification of anomalous overdensities in data - group or collective anomaly detection - is a rich problem with a large number of real world applications. However, it has received relatively little attention in the broader ML community, as compared to point anomalies or other types of single instance outliers. One reason for this is the lack of powerful benchmark datasets. In this paper, we first explain how, after the Nobel-prize winning discovery of the Higgs boson, unsupervised group anomaly detection has become a new frontier of fundamental physics (where the motivation is to find new particles and forces). Then we propose a realistic synthetic benchmark dataset (LHCO2020) for the development of group anomaly detection algorithms. Finally, we compare several existing statistically-sound techniques for unsupervised group anomaly detection, and demonstrate their performance on the LHCO2020 dataset.

研究动机与目标

• 为基本粒子物理中的无监督组异常检测解决缺乏真实、标准化基准数据集的问题。
• 通过引入LHCO2020挑战数据集，推动高能物理领域中少监督异常检测方法的采用。
• 在物理相关、经筛选的数据集上评估并比较统计上合理的组异常检测技术的性能。
• 证明无监督方法可在新物理搜索中显著提升统计显著性。

提出的方法

• 提出LHCO2020数据集作为从模拟LHC对撞数据中衍生的、符合FAIR原则的组异常检测真实基准。
• 使用高阶可观测量（如不变质量、tau喷注子结构、质量差）将对撞事件映射到低维空间。
• 应用CWoLa（无标签分类）方法，基于信号区与边带区中正常事件在统计上相似的假设，训练分类器。
• 采用ANODE（基于密度估计的异常检测）方法，利用归一化流建模正常数据分布，并将低密度区域识别为异常。
• 使用似然比检验和基于泊松统计的显著性度量评估性能，重点关注信噪比的提升。
• 通过ROC曲线和显著性增益曲线验证结果，比较不同方法在不同真正例率下的敏感性。

实验结果

研究问题

• RQ1 无监督组异常检测方法是否能在不依赖异常标签的情况下，对LHC中的新物理信号实现高灵敏度检测？
• RQ2 CWoLa和ANODE等方法在真实、物理驱动的基准数据集上的性能表现如何比较？
• RQ3 组异常检测在多大程度上可提升潜在新物理信号的统计显著性？
• RQ4 使用高阶、物理启发的特征对组异常检测算法的性能有何影响？

主要发现

• ANODE方法在真正例率为0.25时实现了约7倍的最大显著性增益。
• CWoLa方法在真正例率为0.1时实现了超过10倍的最大显著性增益。
• 监督方法实现了最高的显著性增益（超过20倍），但需要完美真实标签，而真实数据中无法获得。
• CWoLa在区分信号区与边带区时表现近乎随机，证实了其核心假设——两区域中的正常事件在统计上不可区分。
• CWoLa与ANODE均显著优于随机猜测，证明了在无异常标签条件下具有鲁棒性与高灵敏度。
• LHCO2020数据集使得在高能物理背景下对组异常检测算法进行公平、可复现且面向社区的评估成为可能。