[论文解读] Tensors Come of Age: Why the AI Revolution will help HPC

John L. Gustafson, Lenore M. R. Mullin|arXiv (Cornell University)|Sep 26, 2017

Computational Physics and Python Applications被引用 5

一句话总结

本文主张，由张量计算驱动的人工智能革命将通过自动化张量算法、数组的数学、Psi演算和Unum算术，显著推进高性能计算（HPC），实现机械可证明性、可扩展性和数值准确性，从而提升HPC软件的可靠性。其核心贡献是一个统一框架，增强了HPC工作负载的可移植性、正确性和精度。

ABSTRACT

This article discusses how the automation of tensor algorithms, based on A Mathematics of Arrays and Psi Calculus, and a new way to represent numbers, Unum Arithmetic, enables mechanically provable, scalable, portable, and more numerically accurate software.

研究动机与目标

• 通过引入自动化张量算法生成，解决HPC软件日益增长的复杂性和不准确性问题。
• 通过采用Unum算术，提升HPC应用中的数值准确性和可移植性。
• 利用数组的数学和Psi演算，实现基于张量的HPC代码的机械可证明正确性。
• 证明深度学习中的人工智能革命可通过共享计算范式，直接惠及传统HPC工作负载。
• 统一AI与HPC领域中的张量计算，降低开发与验证的开销。

提出的方法

• 利用数组的数学，以数学上严谨的方式正式指定并推理数组与张量操作。
• 采用Psi演算，以形式化语义建模和验证并发且可组合的张量操作。
• 引入Unum算术作为可变精度的数值表示方式，以减少数值误差并提升准确性。
• 从高层规格自动生成功能张量算法，消除手动编码错误并提升可移植性。
• 使用形式化验证技术，确保基于张量的HPC代码在多种架构上的正确性与可扩展性。
• 结合张量抽象与形式化方法，实现可证明正确、可移植且高效的HPC软件。

实验结果

研究问题

• RQ1 AI领域的张量计算框架能否被适配以提升传统HPC工作负载的正确性与性能？
• RQ2 与标准浮点算术相比，Unum算术在HPC应用中如何减少数值误差？
• RQ3 A数学的数组与Psi演算等形式化方法在复杂张量算法中能多大程度上确保正确性？
• RQ4 自动化张量算法生成对异构HPC架构上可移植性与可扩展性的影响如何？
• RQ5 AI驱动的张量计算集成如何提升HPC软件的可靠性和可维护性？

主要发现

• 将AI领域的张量计算集成到HPC中，可通过形式化规格说明与验证，实现机械可证明的正确性。
• Unum算术通过根据计算需求动态调整精度，显著提升了数值准确性。
• 自动化张量算法生成减少了开发时间，并消除了HPC应用中常见的编码错误。
• A数学的数组与Psi演算的结合，实现了可扩展、可组合且可验证的张量操作。
• 由于高层抽象的引入，HPC工作负载在异构硬件平台间实现了更高的可移植性与性能可移植性。
• 本文证明，人工智能的张量中心范式可作为下一代可证明正确HPC软件的基础。