[论文解读] Real-time data analysis at the LHC: present and future

V. V. Gligorov|arXiv (Cornell University)|Sep 21, 2015

Particle physics theoretical and experimental studies参考文献 7被引用 4

一句话总结

本文探讨大型强子对撞机（LHC）中实时数据分析面临的挑战，其数据速率年均超过100 exabytes，因此必须依赖硬件触发器将数据量减少1,000至100,000倍。本文主张采用下一代实时多变量分析技术，结合机器学习，以应对未来数据量的激增，特别是在LHCb和ALICE实验中，全事件重建将在云/计算农场环境中成为可能，从而实现更丰富的物理学发现。

ABSTRACT

The Large Hadron Collider (LHC), which collides protons at an energy of 14 TeV, produces hundreds of exabytes of data per year, making it one of the largest sources of data in the world today. At present it is not possible to even transfer most of this data from the four main particle detectors at the LHC to "offline" data facilities, much less to permanently store it for future processing. For this reason the LHC detectors are equipped with real-time analysis systems, called triggers, which process this volume of data and select the most interesting proton-proton collisions. The LHC experiment triggers reduce the data produced by the LHC by between 1/1000 and 1/100000, to tens of petabytes per year, allowing its economical storage and further analysis. The bulk of the data-reduction is performed by custom electronics which ignores most of the data in its decision making, and is therefore unable to exploit the most powerful known data analysis strategies. I cover the present status of real-time data analysis at the LHC, before explaining why the future upgrades of the LHC experiments will increase the volume of data which can be sent off the detector and into off-the-shelf data processing facilities (such as CPU or GPU farms) to tens of exabytes per year. This development will simultaneously enable a vast expansion of the physics programme of the LHC's detectors, and make it mandatory to develop and implement a new generation of real-time multivariate analysis tools in order to fully exploit this new potential of the LHC. I explain what work is ongoing in this direction and motivate why more effort is needed in the coming years.

研究动机与目标

• 解决LHC中每秒产生超过100 exabytes级数据速率的管理挑战，该速率已超出当前存储与传输能力。
• 解释当前基于硬件的触发系统在处理复杂多变量数据分析方面的局限性。
• 阐明为充分利用LHC升级带来的数据量增长，迫切需要先进实时多变量分析工具。
• 强调从仅依赖硬件触发向结合实时处理与云/计算农场重建的混合系统转变的重要性。
• 倡导将机器学习整合到实时分析流水线中，以高效分类多种物理信号。

提出的方法

• 在ATLAS和CMS实验中使用硬件触发器，将数据速率降低40至75倍，仅保留最具希望的事件。
• 在LHCb实验中实施两级缓冲模型，以实现延迟触发，并支持连续的实时校准与对齐。
• 利用CPU、GPU和XeonPhi架构在数据处理农场中实现实时事件重建，取代传统的硬件触发器。
• 在ATLAS和CMS中引入轨迹触发器，以在高数据率下重建带电粒子轨迹，提升数据压缩效率。
• 直接在实时流水线中应用多变量分析技术（如神经网络、决策树和支撑向量机）进行事件分类。
• 探索混合策略，结合全事件重建与压缩数据格式，在数据量与物理信息之间实现平衡。

实验结果

研究问题

• RQ1 如何扩展实时数据分析能力以应对LHC中每秒100 exabytes级的数据速率？
• RQ2 当前基于硬件的触发系统在支持复杂多变量分析方面存在哪些局限性？
• RQ3 如何将机器学习整合到实时数据处理中，以实现超越简单信号-背景分离的事件分类？
• RQ4 为支持LHCb和ALICE等实验实现实时全事件重建，需要哪些架构与算法上的变革？
• RQ5 延迟触发与连续校准在实现更灵活、更强大的实时分析中发挥何种作用？

主要发现

• LHC每年产生约100 exabytes的数据，使得全量离线存储与传输在当前基础设施下不可行。
• 当前硬件触发器可将数据速率降低1,000至100,000倍，从而实现经济上可行的存储与处理。
• LHCb计划完全淘汰硬件触发器，转而依赖实时处理农场与延迟触发，以处理高达150 TB/s的数据流。
• ATLAS和CMS由于探测器设计的物理限制，将继续保留硬件触发器，但将通过引入轨迹触发器提升重建效率。
• 采用机器学习进行实时多变量分析的转变，对在多数事件均具潜在物理意义的实验中高效分类多样物理信号至关重要。
• 未来数据处理将依赖异构计算（CPU、GPU、XeonPhi）与云基础设施，实现比以往更灵活、更强大的实时分析能力。