[论文解读] Nonparametric semisupervised classification for signal detection in high energy physics

Alessandro Casa, Giovanna Menardi|arXiv (Cornell University)|Sep 9, 2018

Gaussian Processes and Bayesian Inference被引用 15

一句话总结

该论文提出了一种非参数半监督分类方法，用于高能物理中的信号检测，通过结合理论背景知识来调节密度估计，采用基于模式的聚类和变量选择。该方法优于参数基准方法，在从背景数据中检测异常信号成分时，Fowlkes-Mallows指数达到0.84，真正例率（true positive rate）为80%。

ABSTRACT

Model-independent searches in particle physics aim at completing our knowledge of the universe by looking for new possible particles not predicted by the current theories. Such particles, referred to as signal, are expected to behave as a deviation from the background, representing the known physics. Information available on the background can be incorporated in the search, in order to identify potential anomalies. From a statistical perspective, the problem is recasted to a peculiar classification one where only partial information is accessible. Therefore a semisupervised approach shall be adopted, either by strengthening or by relaxing assumptions underlying clustering or classification methods respectively. In this work, following the first route, we semisupervise nonparametric clustering in order to identify a possible signal. The main contribution consists in tuning a nonparametric estimate of the density underlying the experimental data with the aid of the available information on the physical theory. As a side contribution, a variable selection procedure is presented. The whole procedure is tested on a dataset mimicking proton-proton collisions performed within a particle accelerator. While finding motivation in the field of particle physics, the approach is applicable to various science domains, where similar problems of anomaly detection arise.

研究动机与目标

• 开发一种模型无关的方法，用于在高能物理中检测新粒子作为已知背景过程的偏离。
• 解决在仅掌握部分信息（即标记的背景数据和未标记的实验数据）时的信号检测挑战。
• 通过将物理理论整合到非参数密度估计中，提升聚类检测和变量选择能力，从而改进异常检测。
• 为识别潜在信号提供一个统计上严谨的推断框架，包含正式的假设检验和置信区间。
• 在模拟的质子-质子碰撞数据上展示该方法的有效性，优于现有的参数方法。

提出的方法

• 使用背景过程的理论知识来调节非参数密度估计器，以提升信号检测性能。
• 应用均值漂移算法以识别密度估计中的聚类作为模式，将物理信号候选与密度峰值对应起来。
• 采用基于非参数推断的变量选择程序，识别最具信息量的特征，从而降低数据维度。
• 通过模式检验估计聚类数量，实现对信号成分存在的正式统计推断。
• 通过利用标记的背景数据强化无监督聚类，将半监督学习融入方法中，提升检测准确性。
• 计算在检测到的信号模式处Hessian矩阵特征值的置信区间，以评估统计显著性。

实验结果

研究问题

• RQ1 与参数方法相比，非参数半监督方法是否能提升高能物理中的信号检测性能？
• RQ2 如何将关于背景过程的物理理论整合到非参数密度估计中，以增强信号识别能力？
• RQ3 当信号未知且可能缺失时，该方法在检测异常信号成分方面的表现如何？
• RQ4 与主成分分析相比，所提出的变量选择程序在识别信号检测相关特征方面的有效性如何？
• RQ5 是否可以在半监督、非参数框架下对聚类检测应用正式的统计推断，以实现异常检测？

主要发现

• 所提出的非参数半监督方法实现了0.84的Fowlkes-Mallows指数，表明真实聚类与检测到的聚类之间具有高度一致性。
• 信号检测的真正例率达到80%，显著优于参数方法在主成分上应用时的50%真正例率。
• 当应用于非参数变量选择程序选出的两个变量时，该方法实现了0.78的Fowlkes-Mallows指数和56%的真正例率。
• 该方法检测到12个背景聚类和4个额外的信号成分，估计密度中的模式数量与预期结构一致。
• 计算了信号模式处特征值的置信区间，支持检测到的信号成分具有统计显著性。
• 该方法在准确性和鲁棒性方面均优于Vatanen等人（2012年）的参数方法，尤其是在使用所选变量而非主成分时表现更优。