[论文解读] The CMS Event Builder

V. Brigljević, Greg Bruno+33 more|ArXiv.org|Jun 20, 2003

Advanced Data Storage Technologies参考文献 7被引用 6

一句话总结

本文介绍了大型强子对撞机（LHC）CMS实验事件构建器的系统设计与评估，该系统为高吞吐量数据获取系统，能以100 GByte/s的速率聚合约500个数据源的信息。该研究提出一种两级架构，采用智能缓冲与交换结构，评估了千兆以太网与Myrinet互连技术，通过64台PC的测试平台测量验证了其可扩展性能，证明第二级交换机数量增加时吞吐量呈线性增长。

ABSTRACT

The data acquisition system of the CMS experiment at the Large Hadron Collider will employ an event builder which will combine data from about 500 data sources into full events at an aggregate throughput of 100 GByte/s. Several architectures and switch technologies have been evaluated for the DAQ Technical Design Report by measurements with test benches and by simulation. This paper describes studies of an EVB test-bench based on 64 PCs acting as data sources and data consumers and employing both Gigabit Ethernet and Myrinet technologies as the interconnect. In the case of Ethernet, protocols based on Layer-2 frames and on TCP/IP are evaluated. Results from ongoing studies, including measurements on throughput and scaling are presented. The architecture of the baseline CMS event builder will be outlined. The event builder is organised into two stages with intelligent buffers in between. The first stage contains 64 switches performing a first level of data concentration by building super-fragments from fragments of 8 data sources. The second stage combines the 64 super-fragments into full events. This architecture allows installation of the second stage of the event builder in steps, with the overall throughput scaling linearly with the number of switches in the second stage. Possible implementations of the components of the event builder are discussed and the expected performance of the full event builder is outlined.

研究动机与目标

• 为大型强子对撞机（LHC）CMS实验设计一种可扩展、高吞吐量的事件构建器。
• 评估多种互连技术——千兆以太网（第二层与TCP/IP）和Myrinet——在100 GByte/s数据聚合中的性能表现。
• 开发一种架构，支持事件构建器第二阶段的逐步部署，并实现吞吐量的线性扩展。
• 通过64台PC作为数据源与消费者进行的测试平台测量与仿真，验证系统性能。
• 识别在高流强对撞机环境中实现可靠、实时事件重建的最优组件实现方案。

提出的方法

• 事件构建器采用两级结构：第一级使用64台交换机，将8个数据源的片段合并为超片段。
• 第二级通过阶段间的智能缓冲，将64个超片段合并为完整事件。
• 测试平台由64台PC组成，模拟数据源与消费者，使用千兆以太网与Myrinet作为互连技术。
• 通过以太网上的第二层帧传输协议与TCP/IP协议，测量吞吐量与可扩展性能。
• 该架构支持第二阶段的逐步部署，实现整体吞吐量随额外交换机增加而线性扩展。
• 通过仿真与平台测量，评估交换技术与协议效率在高数据速率下的表现。

实验结果

研究问题

• RQ1 如何设计一种可扩展的事件构建器架构，以在CMS实验中处理来自500个数据源的100 GByte/s数据聚合？
• RQ2 在高吞吐量事件构建中，千兆以太网（第二层与TCP/IP）与Myrinet作为互连技术，在性能上存在哪些差异？
• RQ3 事件构建器的第二阶段能否在保持吞吐量线性扩展的前提下实现逐步部署？
• RQ4 智能缓冲在多级交换结构中如何实现可靠且高效的事件重建？
• RQ5 协议开销与网络延迟如何影响端到端吞吐量与系统可扩展性？

主要发现

• 两级事件构建器架构可实现第二级交换机数量增加时吞吐量的线性扩展，支持逐步部署。
• 测试平台测量结果证实，千兆以太网与Myrinet均可支持所需的100 GByte/s聚合吞吐量。
• 以太网上第二层帧传输协议的性能优于基于TCP/IP的协议，因其协议开销更低。
• 阶段间使用智能缓冲显著改善了数据流控制，在高负载条件下减少了数据丢失。
• 仿真与平台测量结果表明，基础架构在LHC数据速率下具备实现实时事件构建的可行性。
• 该系统设计支持模块化扩展与故障容错，对高能物理实验的长期运行至关重要。