[论文解读] Variational Autoencoders for Anomalous Jet Tagging

Taoli Cheng, J-F. Arguin+3 more|arXiv (Cornell University)|Jul 3, 2020

Anomaly Detection Techniques and Applications参考文献 40被引用 28

一句话总结

本文提出了一种用于大型强子对撞机（LHC）上无监督异常喷胶标签的异常暴露变分自编码器（OE-VAE），以低层次喷胶成分作为输入，检测如顶夸克和W玻色子喷胶等非QCD信号。通过在训练过程中注入异常样本，OE-VAE在提升异常检测性能的同时，实现了喷胶质量与异常评分之间的去相关，对顶夸克喷胶的AUC达到0.954，优于标准VAE和质量去相关的监督分类器，在保留信号类别上的表现更优。

ABSTRACT

We present a detailed study on Variational Autoencoders (VAEs) for anomalous jet tagging at the Large Hadron Collider. By taking in low-level jet constituents' information, and training with background QCD jets in an unsupervised manner, the VAE is able to encode important information for reconstructing jets, while learning an expressive posterior distribution in the latent space. When using the VAE as an anomaly detector, we present different approaches to detect anomalies: directly comparing in the input space or, instead, working in the latent space. In order to facilitate general search approaches such as bump-hunt, mass-decorrelated VAEs based on distance correlation regularization are also studied. We find that the naive mass-decorrelated VAEs fail at maintaining proper detection performance, by assigning higher probabilities to some anomalous samples. To build a performant mass-decorrelated anomalous jet tagger, we propose the Outlier Exposed VAE (OE-VAE), for which some outlier samples are introduced in the training process to guide the learned information. OE-VAEs are employed to achieve two goals at the same time: increasing sensitivity of outlier detection and decorrelating jet mass from the anomaly score. We succeed in reaching excellent results from both aspects. Code implementation of this work can be found at https://github.com/taolicheng/VAE-Jet

研究动机与目标

• 开发一种模型无关、数据驱动的方法，用于在不依赖标记信号样本的情况下检测喷胶数据中的新物理信号。
• 解决标准VAE在将喷胶质量与异常评分去相关时性能下降的局限性。
• 通过具有结构化潜在表示的变分自编码器，改进高维喷胶成分数据中的无监督异常检测。
• 通过正则化和异常样本注入，构建质量去相关的异常评分，以支持类似“峰迹搜索”的方法。

提出的方法

• 在无监督方式下对QCD喷胶成分进行VAE训练，以学习正则化的潜在分布，并以最小重建误差重建输入特征。
• 使用多种异常评分——均方误差（MSE）、KL散度、地球移动距离（EMD）和多尺度评分（MSS）——在输入空间和潜在空间中检测异常。
• 应用距离相关性正则化，以强制喷胶质量与异常评分之间去相关，旨在支持质量去相关的搜索。
• 提出一种新型的异常暴露VAE（OE-VAE），在训练过程中显式包含一部分异常样本（如W喷胶和顶夸克喷胶），以引导模型实现更好的泛化性和鲁棒性。
• 使用β-VAE目标函数优化VAE，平衡重建损失与KL散度，通过调整β值控制重建保真度与潜在空间正则化之间的权衡。
• 通过ROC曲线和AUC在保留的信号类别上，将OE-VAE的性能与标准VAE、监督DNN分类器及质量去相关基线进行比较。

实验结果

研究问题

• RQ1 仅在QCD喷胶上训练的VAE能否在无监督方式下有效检测非QCD异常喷胶？
• RQ2 距离相关性正则化是否能成功实现基于VAE的异常检测中喷胶质量与异常评分的去相关？
• RQ3 为何朴素的质量去相关VAE无法维持检测性能，以及如何修正这一问题？
• RQ4 在训练过程中注入异常样本能否同时提升VAE的异常检测灵敏度与质量去相关性？
• RQ5 OE-VAE在保留信号类别上的性能与监督质量去相关分类器相比如何？

主要发现

• OE-VAE在顶夸克喷胶标签任务中实现了0.954的AUC，优于先前报告的结果（LOLA自编码器为0.93，CNN自编码器为0.89）。
• 朴素的质量去相关VAE无法维持检测性能，因为其对某些异常样本分配了更高的似然值，从而破坏了异常检测的有效性。
• t-SNE可视化显示，随着β值增加，潜在表示更加聚集，表明高β值下正则化更强，但解耦能力下降。
• OE-VAE在保留信号类别上显著优于质量去相关的监督W/QCD分类器（如Higgs和顶夸克喷胶），尤其在低信号效率区域表现更优。
• 多尺度评分（MSS）和基于EMD的异常评分表现优异，其中MSS在多种信号类型中实现了最佳AUC。
• 所提方法成功将喷胶质量与异常评分解耦，同时保持对非QCD信号的高敏感性，从而支持有效的峰迹搜索式分析。