[论文解读] Pre-training strategy using real particle collision data for event classification in collider physics

T. Kishimoto, M. Morinaga+2 more|arXiv (Cornell University)|Dec 12, 2023

Particle Detector Development and Performance被引用 6

一句话总结

本文提出一种基于CMS开放数据中真实粒子对撞数据的自监督预训练策略，以提升对撞机物理中的事例分类性能。通过在未标注的真实数据中掩码并预测粒子对象类型，模型学习到鲁棒的特征，这些特征可有效迁移至下游分类任务，显著提升性能——尤其在标注数据有限的情况下，展示了在低数据场景下的最先进AUC提升效果。

ABSTRACT

This study aims to improve the performance of event classification in collider physics by introducing a pre-training strategy. Event classification is a typical problem in collider physics, where the goal is to distinguish the signal events of interest from background events as much as possible to search for new phenomena in nature. A pre-training strategy with feasibility to efficiently train the target event classification using a small amount of training data has been proposed. Real particle collision data were used in the pre-training phase as a novelty, where a self-supervised learning technique to handle the unlabeled data was employed. The ability to use real data in the pre-training phase eliminates the need to generate a large amount of training data by simulation and mitigates bias in the choice of physics processes in the training data. Our experiments using CMS open data confirmed that high event classification performance can be achieved by introducing a pre-trained model. This pre-training strategy provides a potential approach to save computational resources for future collider experiments and introduces a foundation model for event classification.

研究动机与目标

• 通过最小化对蒙特卡洛模拟生成训练数据的依赖，降低对撞机物理中的计算成本。
• 在标注训练数据稀缺的情况下，提升事例分类性能，尤其针对新物理搜索任务。
• 开发一种基于真实对撞数据而非模拟数据的可迁移基础模型，用于事例分类。
• 评估预训练模型在不同物理过程之间的泛化能力和可迁移性。
• 证明在真实数据上进行自监督学习，可实现与基于模拟数据的预训练相媲美甚至更优的性能表现。

提出的方法

• 在CMS开放数据中的真实粒子对撞数据上进行预训练，采用一种掩码粒子对象类型并进行预测的自监督学习技术。
• 使用基于Transformer的深度学习模型，预训练和微调阶段共享嵌入层与特征提取层。
• 采用交叉熵损失函数，并使用余弦退火学习率调度策略的随机梯度下降进行训练。
• 使用标注数据对预训练的编码器和特征模块进行微调，以完成下游事例分类任务。
• 分类器头从零开始训练，而底层网络层则使用预训练权重初始化，以利用学到的表征。
• 实验在配备NVIDIA A100 GPU的本地集群上进行，训练速度达到约90个批次/秒。

实验结果

研究问题

• RQ1 在真实对撞数据上进行自监督预训练，能否提升对撞机物理中的事例分类性能？
• RQ2 与基于模拟数据的预训练相比，真实数据预训练在下游分类准确率方面表现如何？
• RQ3 随着标注事例数量的增加，预训练带来的性能增益是否会减弱？
• RQ4 在真实数据上进行预训练，能在多大程度上提升模型在不同物理过程间的可迁移性？
• RQ5 预训练数据规模如何影响事例分类性能的提升？

主要发现

• 当仅使用约10^4个标注事例时，基于真实数据的预训练显著提升了AUC，展现出强大的数据效率。
• 随着标注事例数量的增加，预训练带来的性能增益逐渐减弱，当达到约10^6个事例时，性能曲线趋于收敛。
• 随着预训练数据量的增加，AUC提升也相应提高，表明更大规模的真实数据集可能带来更大的性能增益。
• 该预训练模型在无需大规模蒙特卡洛模拟进行预训练的情况下，即可实现高性能的事例分类。
• 在预训练中使用真实数据可减少模拟物理过程带来的偏差，并避免与模拟相关的计算开销。
• 该方法在未来的对撞机实验中展现出显著潜力，可通过消除对大规模模拟数据生成的依赖，有效降低计算成本。