[论文解读] Understanding Reuse, Performance, and Hardware Cost of DNN Dataflows: A Data-Centric Approach Using MAESTRO

Hyoukjun Kwon, Prasanth Chatarasi+4 more|arXiv (Cornell University)|May 4, 2018

Parallel Computing and Optimization Techniques参考文献 48被引用 16

一句话总结

本文提出 MAESTRO，一种以数据为中心的分析模型，通过编译器友好的指令编码数据流规范，量化深度神经网络（DNN）数据流中的重用、性能与硬件成本。该模型可在 4.8 亿种配置中实现快速、精确的设计空间探索，每秒处理 0.17 百万种设计，识别出吞吐量与能效最优的配置，并揭示了实现 DNN 加速器最佳性能所需的关键硬件资源均衡分配策略。

ABSTRACT

The data partitioning and scheduling strategies used by DNN accelerators to leverage reuse and perform staging are known as dataflow, and they directly impact the performance and energy efficiency of DNN accelerator designs. An accelerator microarchitecture dictates the dataflow(s) that can be employed to execute a layer or network. Selecting an optimal dataflow for a layer shape can have a large impact on utilization and energy efficiency, but there is a lack of understanding on the choices and consequences of dataflows, and of tools and methodologies to help architects explore the co-optimization design space. In this work, we first introduce a set of data-centric directives to concisely specify the space of DNN dataflows in a compilerfriendly form. We then show how these directives can be analyzed to infer various forms of reuse and to exploit them using hardware capabilities. We codify this analysis into an analytical cost model, MAESTRO (Modeling Accelerator Efficiency via Spatio-Temporal Reuse and Occupancy), that estimates various cost-benefit tradeoffs of a dataflow including execution time and energy efficiency for a DNN model and hardware configuration. We demonstrate the use of MAESTRO to drive a hardware design space exploration (DSE) experiment, which searches across 480M designs to identify 2.5M valid designs at an average rate of 0.17M designs per second, including Pareto-optimal throughput- and energy-optimized design points.

研究动机与目标

• 为解决当前对 DNN 数据流选择及其对性能与能效影响缺乏结构化、量化的理解问题。
• 提供一种编译器友好的、以数据为中心的符号表示法，用于指定 DNN 数据流，以捕捉重用与调度策略。
• 开发一种分析性成本模型（MAESTRO），用于估算在不同数据流与硬件配置下的执行时间、能效与硬件成本。
• 通过早期剔除无效设计，实现可扩展、高吞吐量的 DNN 加速器设计空间探索（DSE）。
• 通过揭示处理单元（PE）数量、缓冲区大小与片上网络（NoC）带宽之间的权衡，指导微架构与数据流的联合优化。

提出的方法

• 引入一组以数据为中心的指令，以简洁的编译器友好格式表示 DNN 数据流，涵盖循环分块、展开与数据映射。
• 分析这些指令，推断时空重用模式，包括处理单元（PE）与片上缓冲区上的区域重用与时间重用。
• 开发 MAESTRO，一种分析性成本模型，利用处理单元（PE）数量、缓冲区大小与 NoC 带宽等参数，估算执行时间、能效与硬件成本。
• 通过考虑 L1、L2 与 NoC 之间的数据移动，建模通信开销，包括分块大小与网络拓扑带来的延迟。
• 将模型集成至 DSE 框架中，实现早期剔除无效设计，从而以每秒 0.17 百万种设计的速度实现高速探索。
• 通过与 Eyeriss 和 MAERI 上的周期精确仿真及报告运行时间对比，验证 MAESTRO 的高一致性。

实验结果

研究问题

• RQ1 如何通过以数据为中心的指令，形式化且紧凑地表示 DNN 数据流，以捕捉重用与调度策略？
• RQ2 在给定的 DNN 模型与硬件条件下，不同数据流配置在性能与能效方面存在哪些关键权衡？
• RQ3 处理单元（PE）数量、缓冲区大小与 NoC 带宽的变化如何影响 DNN 加速器的吞吐量与能效？
• RQ4 分析性模型是否能在无需周期精确仿真的情况下准确预测性能与成本？
• RQ5 不同 DNN 层的最优硬件配置是什么？它们在早期与晚期层之间有何差异？

主要发现

• MAESTRO 在预测执行时间与能效方面表现出高精度，与周期精确仿真及 Eyeriss 与 MAERI 上的报告运行时间高度一致。
• 基于 MAESTRO 的 DSE 框架探索了 4.8 亿种设计，识别出 250 万种有效设计，平均处理速度达每秒 0.17 百万种设计，实现可扩展探索。
• 吞吐量优化的设计需要在处理单元（PE）、缓冲区与 NoC 之间实现资源的均衡分配；仅增加缓冲区大小无法提升性能或能效。
• 具有高空间多播或归约支持的数据流，其能耗最高可增加 47%，表明存在显著的成本权衡。
• DNN 中早期与晚期层表现出截然不同的硬件偏好，这推动了自适应与异构加速器设计的发展。
• 该模型揭示，最优性能要求对处理单元（PE）、缓冲区与 NoC 进行联合优化，强调资源分配必须均衡，而非由任一组件主导。