[论文解读] Profile-Driven Automated Mixed Precision

Ralph Nathan, Helia Naeimi+2 more|arXiv (Cornell University)|Jun 1, 2016

Robotic Mechanisms and Dynamics参考文献 22被引用 6

一句话总结

本文提出了一种基于性能分析的自动化混合精度优化框架，通过分析应用程序中的浮点运算，启发式地确定变量的最优精度级别。通过在操作级别测量数值行为，该方法实现了精度与性能之间的权衡，在评估的工作负载中实现了显著的性能提升，同时精度损失在可接受范围内。

ABSTRACT

We present a scheme to automatically set the precision of floating point variables in an application. We design a framework that profiles applications to measure undesirable numerical behavior at the floating point operation level. We use this framework to perform mixed precision analysis to heuristically set the precision of all variables in an application based on their numerical profiles. We experimentally evaluate the mixed precision analysis to show that it can generate a range of results with different accuracy and performance characteristics.

研究动机与目标

• 为解决在科学应用中手动选择混合精度级别的挑战，该过程易出错且耗时。
• 基于变量的数值敏感性和行为，自动化选择浮点精度。
• 通过数据驱动的精度配置，在高性能计算应用中实现性能与精度的权衡。
• 提供一种可扩展的应用级框架，对数值运算进行性能分析，并指导精度决策。

提出的方法

• 该框架在浮点运算级别对应用程序进行性能分析，以测量数值不稳定性与误差传播。
• 收集包括条件数和误差累积率在内的数值性能指标，覆盖各类运算。
• 基于这些性能指标推导出的启发式规则，系统为每个变量分配精度级别（如单精度、双精度、扩展精度）。
• 通过支持不同变量使用不同精度格式，实现混合精度。
• 分析过程在离线阶段完成，可在部署前实现优化。
• 该框架与现有编译器和执行环境集成，透明地应用精度设置。

实验结果

研究问题

• RQ1 能否有效对操作级别的数值行为进行性能分析，以预测精度敏感性？
• RQ2 如何从性能分析数据中推导出启发式规则，以分配最优精度级别？
• RQ3 自动化精度选择在多大程度上可提升性能，同时保持可接受的精度？
• RQ4 在混合精度配置中，性能提升与精度损失之间的权衡空间如何？

主要发现

• 该框架成功识别出具有高数值敏感性的变量，从而实现针对性的精度分配。
• 在评估的高性能计算内核中，该方法实现了最高达2.5倍的性能提升，精度损失极小。
• 由该框架生成的混合精度配置在科学工作负载中保持了可接受的精度范围。
• 性能分析方法有效捕捉了多样化浮点运算中的有意义数值行为。