[论文解读] Reactive NaN Repair for Applying Approximate Memory to Numerical Applications

Shinsuke Hamada, Soramichi Akiyama+1 more|arXiv (Cornell University)|Mar 26, 2018

Parallel Computing and Optimization Techniques参考文献 11被引用 3

一句话总结

本文提出了一种用于数值HPC和AI工作负载中近似主内存的反应式NaN修复机制，利用x86浮点异常检测并即时修复NaN，同时忽略非致命的数值错误。该方法开销极低，实现了无需牺牲结果有效性的节能近似计算。

ABSTRACT

Applications in the AI and HPC fields require much memory capacity, and the amount of energy consumed by main memory of server machines is ever increasing. Energy consumption of main memory can be greatly reduced by applying approximate computing in exchange for increased bit error rates. AI and HPC applications are to some extent robust to bit errors because small numerical errors are amortized by their iterative nature. However, a single occurrence of a NaN due to bit-flips corrupts the whole calculation result. The issue is that fixing every bit-flip using ECC incurs too much overhead because the bit error rate is much higher than in normal environments. We propose a low-overhead method to fix NaNs when approximate computing is applied to main memory. The main idea is to reactively repair NaNs while leaving other non-fatal numerical errors as-is to reduce the overhead. We implemented a prototype by leveraging floating-point exceptions of x86 CPUs, and the preliminary evaluations showed that our method incurs negligible overhead.

研究动机与目标

• 解决单个NaN因位翻转导致整个数值计算被破坏的关键问题，尤其是在近似内存中。
• 通过应用更高位错误率的近似计算，降低HPC和AI工作负载中主内存的能耗。
• 通过避免使用ECC进行完整错误校正，仅针对致命NaN错误而非所有位翻转进行修复，从而最小化开销。
• 通过有针对性的NaN修复确保结果完整性，实现数值应用中近似内存的实用化部署。
• 提供一种灵活且低开销的解决方案，可适应应用特定的NaN恢复语义，且无需硬件锁定。

提出的方法

• 利用x86浮点异常机制实时检测浮点运算过程中生成的NaN。
• 实现一个反应式修复处理程序，拦截由NaN触发的浮点异常，并将NaN替换为安全的、与应用相关的值。
• 保留非致命数值错误（例如不产生NaN的小位翻转）不予纠正，以避免不必要的开销。
• 使用基于软件的异常处理机制，避免对所有位翻转进行硬件ECC校正所带来的高昂成本。
• 设计可扩展的修复逻辑，允许根据应用上下文使用不同值（例如0.0、1.0或其他启发式方法）。
• 通过标准x86指令集扩展将修复机制集成到原型系统中，以确保兼容性并保持低运行时成本。

实验结果

研究问题

• RQ1 是否能够通过反应式、异常驱动的方法在近似主内存中以可忽略的性能开销修复NaN？
• RQ2 是否可行通过选择性地仅修复NaN而非所有位翻转，从而避免完整ECC校正，同时容忍非致命数值错误？
• RQ3 与近似内存系统中传统的ECC错误校正相比，所提出方法的开销如何？
• RQ4 该方法是否能有效应用于对小错误具有鲁棒性但对NaN传播敏感的HPC和AI数值工作负载？
• RQ5 使用应用特定值修复NaN而非依赖硬件错误校正的实际影响是什么？

主要发现

• 初步评估在基于x86的原型上证实，所提出的反应式NaN修复方法开销极低。
• 仅修复NaN而非所有位翻转，与完整ECC校正相比，显著降低了错误容错的成本。
• 该方法在防止矩阵运算和线性代数计算中因NaN传播导致的灾难性失败方面非常有效。
• 该方法与现有x86浮点异常机制兼容，可无需架构修改高效集成。
• 非致命数值错误（例如不产生NaN的小位翻转）可安全忽略，因为其在HPC和AI工作负载的迭代性质下可被摊销。
• 该方法为未来基于工作负载特征确定最优NaN修复值的研究提供了灵活的基础。