[论文解读] Versatile firmware for the Common Readout Unit (CRU) of the ALICE experiment at the LHC

O. Bourrion, J. Bouvier+5 more|arXiv (Cornell University)|Oct 19, 2019

Advanced Data Storage Technologies参考文献 5被引用 2

一句话总结

本文提出了一种适用于CERN大型强子对撞机（LHC）ALICE实验中通用读出单元（CRU）的多功能、可重用固件框架，支持在10个升级后的探测器中实现高吞吐量数据采集。该固件支持连续读出和触发读出两种模式，通过GBT和PON协议集成时钟、触发和慢控信号，并利用基于PCIe Gen3的FPGA设计结合动态资源分配与可配置数据路径，将数据吞吐量从3.5 TB/s降低至635 GB/s。

ABSTRACT

As from the run 3 of CERN LHC scheduled in 2022, the upgraded ALICE experiment will use a Common Readout Unit (CRU) at the heart of the data acquisition system. The CRU, based on the PCIe40 hardware designed for LHCb, is a common interface between 3 main sub-systems: the front-end, the computing system, and the trigger and timing system. The 475 CRUs will interface 10 different sub-detectors and reduce the total data throughput from 3.5 TB/s to 635 GB/s. The ALICE common firmware framework supports data taking in continuous and triggered mode and forwards clock, trigger and slow control to the front-end electronics. In this paper, the architecture and the data-flow performance are presented.

研究动机与目标

• 解决在LHC运行3期间，ALICE升级探测器系统中10,000条读出链路产生的3.5 TB/s数据吞吐量管理挑战。
• 开发统一的固件框架，利用通用硬件平台支持10个升级子探测器的多样化探测器需求。
• 支持连续（无触发）和触发数据采集模式，以适应不同的物理目标和探测器配置。
• 高效集成前端电子设备、计算系统以及触发与时间系统之间的时钟、触发和慢控信号。
• 通过版本控制、自动打标签和模块化设计（支持用户逻辑扩展）确保固件的可维护性与可重现性。

提出的方法

• 采用基于PCIe Gen3 x8 FPGA的CRU硬件平台（源自LHCb的PCIe40设计），连接24条GBT光链路和1条TTS PON链路。
• 使用板级支持包（BSP）、GBT封装器、TTS接口和可配置数据路径封装器构建模块化固件堆栈，实现灵活的数据路由。
• 利用探测器数据生成器（DDG）和模式播放器模拟真实探测器数据，用于固件验证和读出软件测试。
• 通过PCIe DMA实现向O2计算农场的高带宽数据传输，控制消息通过BAR接口处理。
• 采用I2C实现时钟、温度、电源和LED的配置与监控，使用自定义VHDL地址表支持仿真与调试。
• 采用基于Git的版本控制，实现自动固件打标签（包含git哈希和编译日期），确保可追溯性与可重现性。

实验结果

研究问题

• RQ1 如何通过单一固件框架高效支持10个不同ALICE子探测器在带宽和时序需求上的多样化数据采集需求？
• RQ2 在统一固件设计中，实现连续与触发读出模式所需的架构与可配置性特征是什么？
• RQ3 如何在保持适应性并支持嵌入式测试功能的同时，最小化复杂探测器系统的固件资源使用？
• RQ4 在共享固件仓库中，如何确保探测器专用用户逻辑的可靠配置、验证与部署？
• RQ5 如何优化固件仿真与集成流程，以缩短开发时间并加速大规模探测器系统中的错误排查？

主要发现

• 通用固件框架通过聚合10个升级探测器中的475个CRU，成功将总数据吞吐量从3.5 TB/s降低至635 GB/s。
• 固件使用了123k个自适应逻辑模块（占FPGA总量的29%）和1,084个RAM块（占总量的40%），其中GBT封装器为最大组件，占总ALM使用量的44%。
• 通过在GBT模式与宽模式之间动态切换，可为TPC等高资源需求探测器节省高达30k个ALM，实现高效的资源分配。
• 采用支持仿真的配置模型与基于VHDL的地址表，实现了真实世界配置序列和罕见错误情况的精确重现。
• 固件部署实现完全版本控制，自动打标签，将git哈希和编译日期嵌入状态寄存器，实现完全可重现性。
• 已制造、安装并进入验证阶段的CRU共565个，预计于2021年底完成全部调试工作。