[论文解读] Studying the potential of Graphcore IPUs for applications in Particle Physics

L. R. Madhan Mohan, A. M. Marshall+6 more|arXiv (Cornell University)|Aug 20, 2020

Particle physics theoretical and experimental studies参考文献 40被引用 11

一句话总结

本研究评估了Graphcore的智能处理单元（IPU）在粒子物理学工作负载中的表现，表明IPU在关键机器学习和追踪应用中优于GPU和CPU。通过MIMD并行计算，IPU在小批量模型的推理和训练中实现了最高5倍的加速，尤其在条件控制流工作负载（如卡尔曼滤波）中表现更优，尽管第一代IPU的内存容量有限。

ABSTRACT

This paper presents the first study of Graphcore's Intelligence Processing Unit (IPU) in the context of particle physics applications. The IPU is a new type of processor optimised for machine learning. Comparisons are made for neural-network-based event simulation, multiple-scattering correction, and flavour tagging, implemented on IPUs, GPUs and CPUs, using a variety of neural network architectures and hyperparameters. Additionally, a Kálmán filter for track reconstruction is implemented on IPUs and GPUs. The results indicate that IPUs hold considerable promise in addressing the rapidly increasing compute needs in particle physics.

研究动机与目标

• 评估Graphcore IPU在粒子物理学中机器学习和物理特异性工作负载中的性能。
• 对比IPU、GPU和CPU在事件模拟、风味标记和轨迹重建的神经网络推理与训练中的表现。
• 研究IPU在粒子物理学中常见不规则、稀疏和条件工作负载（如带打点剔除的卡尔曼滤波）中的适用性。
• 评估使用TensorFlow和PyTorch等高级框架对IPU进行编程的便捷性，以适用于高能物理应用。
• 确定IPU的MIMD架构是否在真实物理工作负载中相对于传统SIMD GPU具有性能优势。

提出的方法

• 使用TensorFlow和PyTorch在IPU、GPU和CPU上实现并基准测试了多种神经网络架构（全连接、卷积、局部连接GAN），用于事件生成和风味标记。
• 利用Graphcore的Poplar SDK在IPU上实现卡尔曼滤波，支持基于打点观测的条件状态更新，并与基于TensorFlow的GPU实现进行对比。
• 通过测量不同批量大小下的吞吐量和延迟，评估性能扩展性和内存效率。
• 通过对比IPU和GPU在启用与禁用打点剔除逻辑时的吞吐量，研究条件执行对性能的影响。
• 通过云访问第一代Graphcore Colossus MK1 GC2 IPU，并与高端GPU和两台高端CPU进行结果对比。
• 评估移植时间和开发工作量，注意到一个无IPU使用经验的团队在六个月内即实现了功能性实现。

实验结果

研究问题

• RQ1 IPU在粒子物理学相关神经网络的训练和推理中，与GPU和CPU相比性能如何？
• RQ2 IPU的MIMD架构是否在具有不规则数据访问和条件控制流的工作负载中，相对于GPU的SIMD架构具有性能优势？
• RQ3 IPU能否以具有竞争力的吞吐量处理大规模粒子物理学工作负载，如基于GAN的事件生成和风味标记？
• RQ4 批量大小如何影响IPU与GPU之间的性能差异，尤其考虑到IPU的内存容量较小？
• RQ5 IPU在多大程度上可通过TensorFlow和PyTorch等高级框架进行编程？物理研究人员能多快采用该技术？

主要发现

• 对于小批量工作负载（≤100），IPU在训练和推理中均比GPU快4–5倍，尤其在条件控制流场景中表现更优。
• 由于对稀疏和不规则操作的高效处理，IPU在基于GAN的事件生成中，即使批量较小，也能实现更快的训练和推理。
• 在卡尔曼滤波实现中，IPU在条件执行下仍保持高吞吐量，而GPU因线程束发散导致性能下降超过50%。
• 尽管内存容量小于GPU，IPU凭借更优的内存访问模式和线程级并行性，在卷积和局部连接GAN中表现优于GPU。
• IPU的MIMD架构可高效执行独立线程路径，与GPU的SIMD执行相比，条件逻辑导致的性能下降更小。
• 一个无IPU使用经验的团队在六个月内即实现功能性实现，表明物理研究人员使用高级框架时，IPU的上手门槛较低。