[论文解读] Track Reconstruction in the ALICE TPC using GPUs for LHC Run 3

D. Røhr, S. Gorbunov+2 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Data Storage Technologies被引用 4

一句话总结

本文提出了一种用于LHC Run 3阶段ALICE实验的GPU加速TPC轨迹重建算法，采用混合细胞自动机与卡尔曼滤波方法，通过OpenCL和CUDA实现CPU/GPU共享代码。该算法在满足严格50 kHz连续读出要求的前提下，实现了离线质量的分辨率与效率，基准测试显示在NVIDIA GTX 1080 GPU上每23 ms数据帧的处理时间约为20秒。

ABSTRACT

In LHC Run 3, ALICE will increase the data taking rate significantly to continuous readout of 50 kHz minimum bias Pb-Pb collisions. The reconstruction strategy of the online offline computing upgrade foresees a first synchronous online reconstruction stage during data taking enabling detector calibration, and a posterior calibrated asynchronous reconstruction stage. We present a tracking algorithm for the Time Projection Chamber (TPC), the main tracking detector of ALICE. The reconstruction must yield results comparable to current offline reconstruction and meet the time constraints like in the current High Level Trigger (HLT), processing 50 times as many collisions per second as today. It is derived from the current online tracking in the HLT, which is based on a Cellular automaton and the Kalman filter, and we integrate missing features from offline tracking for improved resolution. The continuous TPC readout and overlapping collisions pose new challenges: conversion to spatial coordinates and the application of time- and location dependent calibration must happen in between of track seeding and track fitting while the TPC occupancy increases five-fold. The huge data volume requires a data reduction factor of 20, which imposes additional requirements: the momentum range must be extended to identify low-pt looping tracks and a special refit in uncalibrated coordinates improves the track model entropy encoding. Our TPC track finding leverages the potential of hardware accelerators via the OpenCL and CUDA APIs in a shared source code for CPUs, GPUs, and both reconstruction stages. Porting more reconstruction steps like the remainder of the TPC reconstruction and tracking for other detectors will shift the computing balance from traditional processors to GPUs.

研究动机与目标

• 解决在50 kHz连续Pb–Pb碰撞速率下ALICE TPC中轨迹重建的挑战，该速率是Run 2的五倍。
• 在在线处理时间约束下，实现与离线重建相当的分辨率和效率。
• 通过在数据获取期间同步执行重建，实现实时校准与数据压缩。
• 克服连续读出模式下缺乏初始顶点信息以及时间/位置相关畸变的问题。
• 通过先进的轨迹合并与熵编码技术，将数据量压缩20倍。

提出的方法

• 将Run 2的高级触发（HLT）跟踪流水线——基于细胞自动机种子生成与卡尔曼滤波——适配为使用OpenCL和CUDA在GPU上执行。
• 在估计顶点时间后，引入实时坐标变换，将TPC事例从原始的pad、row和时间坐标转换为三维空间坐标(x, y, z)。
• 集成离线跟踪功能，如循环轨迹合并与中心电极穿越传播，以提升分辨率。
• 在未校准坐标下执行重拟合，以增强轨迹模型的熵编码效率，实现数据压缩。
• 设计共享源代码软件栈，使同一套重建代码可在CPU和GPU上运行，实现可移植性与性能可移植性。
• 计划将GPU加速扩展至其他重建阶段，包括ITS和TRD跟踪以及数据压缩，最大限度减少主机与GPU之间的数据传输。

实验结果

研究问题

• RQ1 在50 kHz连续数据速率下，如何实现ALICE TPC中轨迹重建的离线级分辨率与效率？
• RQ2 对现有HLT跟踪流水线需进行何种修改，才能在无初始顶点分配的情况下支持连续读出？
• RQ3 能否在不降低性能的前提下，将实时坐标变换与实时校准集成到跟踪流水线中？
• RQ4 在保留下游分析所需物理敏感轨迹信息的前提下，可实现多大程度的数据压缩因子？
• RQ5 GPU加速在TPC跟踪之外，能在多大程度上扩展至O2计算框架中的完整重建链？

主要发现

• GPU优化的TPC跟踪算法实现了与离线重建相当的分辨率与效率，轨迹寻找性能等于或优于当前离线重建结果。
• 基准测试显示，在单张NVIDIA GTX 1080 GPU上，每23 ms数据帧的处理时间约为20秒，满足实时处理要求。
• 通过在种子生成后延迟坐标变换，该算法成功处理了缺乏绝对z坐标以及时间/位置相关畸变的问题。
• 通过先进的轨迹合并与熵编码技术，实现20倍的数据压缩因子，对管理数据量增长至关重要。
• 共享的CPU/GPU代码库支持在异构硬件上的无缝部署，未来计划将GPU加速扩展至ITS、TRD及数据压缩阶段。
• 预计需约1000张GPU卡才能完成全TPC跟踪，计划在O2计算农场部署1500台配备GPU的服务器，为额外任务预留充足余量。