[论文解读] Searching for Fast Model Families on Datacenter Accelerators

Sheng Li, Mingxing Tan+5 more|arXiv (Cornell University)|Feb 10, 2021

Advanced Neural Network Applications参考文献 48被引用 4

一句话总结

本文提出一种硬件感知神经架构搜索（NAS）与延迟感知复合缩放（LACS），以优化针对数据中心加速器（如TPUv3和GPUv100）的CNN模型族。通过设计包含加速器友好操作（如空间到深度、融合卷积和分块激活）的搜索空间，并联合优化准确率与延迟，该方法发现了EfficientNet-X，其推理速度相比EfficientNet最高提升2.3倍，同时保持相近的准确率。

ABSTRACT

Neural Architecture Search (NAS), together with model scaling, has shown remarkable progress in designing high accuracy and fast convolutional architecture families. However, as neither NAS nor model scaling considers sufficient hardware architecture details, they do not take full advantage of the emerging datacenter (DC) accelerators. In this paper, we search for fast and accurate CNN model families for efficient inference on DC accelerators. We first analyze DC accelerators and find that existing CNNs suffer from insufficient operational intensity, parallelism, and execution efficiency. These insights let us create a DC-accelerator-optimized search space, with space-to-depth, space-to-batch, hybrid fused convolution structures with vanilla and depthwise convolutions, and block-wise activation functions. On top of our DC accelerator optimized neural architecture search space, we further propose a latency-aware compound scaling (LACS), the first multi-objective compound scaling method optimizing both accuracy and latency. Our LACS discovers that network depth should grow much faster than image size and network width, which is quite different from previous compound scaling results. With the new search space and LACS, our search and scaling on datacenter accelerators results in a new model series named EfficientNet-X. EfficientNet-X is up to more than 2X faster than EfficientNet (a model series with state-of-the-art trade-off on FLOPs and accuracy) on TPUv3 and GPUv100, with comparable accuracy. EfficientNet-X is also up to 7X faster than recent RegNet and ResNeSt on TPUv3 and GPUv100.

研究动机与目标

• 解决理论FLOPs与数据中心加速器（如TPU和GPU）上实际推理延迟之间的性能差距问题。
• 识别当前SOTA CNN中在硬件上的瓶颈，如低操作强度和较差的并行性。
• 设计面向数据中心加速器的NAS搜索空间，以提升操作强度与执行效率。
• 开发一种多目标复合缩放方法（LACS），在模型族生成过程中联合优化准确率与推理延迟。
• 生成新的模型族EfficientNet-X，使其在现代数据中心加速器上实现更优的准确率-延迟权衡。

提出的方法

• 利用roofline模型对TPUv3和GPUv100进行定量分析，揭示低操作强度与次优并行性导致FLOPs与延迟不成比例。
• 设计一种面向DC加速器的NAS搜索空间，整合空间到深度、空间到批量、混合融合卷积（常规与深度可分离）以及分块激活函数。
• 提出延迟感知复合缩放（LACS），一种多目标缩放方法，在模型族生成过程中联合优化准确率与推理延迟。
• 在TPUv3和GPUv100上分别执行独立的NAS与LACS流程，生成针对硬件的模型族，确保硬件感知优化。
• 在TPUv3和GPUv100上训练并评估所得模型族EfficientNet-X，与SOTA基线比较延迟与准确率。
• 通过测量从TPUv2到TPUv3（2倍峰值性能）迁移时的速度提升，验证其在加速器代际间的泛化能力。

Figure 1: Unified accelerator-optimized NAS and Latency-aware Compound Scaling (LACS) to search model families optimized for TPUs and GPUs. The same multi-objective with both latency and accuracy is used for both NAS and model scaling. For a given accelerator, a base model (m1) is obtained via NAS w

实验结果

研究问题

• RQ1 为何在TPU和GPU等数据中心加速器上，FLOPs与延迟的关系会失效，而CPU上却成立？
• RQ2 如何改进神经架构搜索，以更好地利用TPU和GPU的硬件特性？
• RQ3 哪些架构组件能提升数据中心加速器上的操作强度与执行效率？
• RQ4 与单目标缩放相比，多目标复合缩放（同时优化准确率与延迟）在最优缩放系数上存在哪些差异？
• RQ5 所提方法在不同代际的数据中心加速器之间具有多大程度的泛化能力？

主要发现

• 在TPUv3上，EfficientNet-X相比EfficientNet最高实现2.3倍的推理加速，且保持相近的top-1准确率；在GPUv100上最高实现2.1倍加速。
• 在TPUv3上，EfficientNet-X相比RegNet快7倍，相比ResNeSt快48%，平均速度提升分别为7倍与48%。
• 在GPUv100上，EfficientNet-X相比RegNet快82%，相比ResNeSt快48%（平均）。
• 从TPUv2升级到TPUv3（2倍峰值性能）时，EfficientNet-X实现约1.9倍的几何平均速度提升，而EfficientNet仅为约1.5倍，表明其缩放效率高出30%。
• LACS发现，网络深度应比图像分辨率和宽度显著更快增长，这与以往复合缩放实践相悖。
• 该方法在加速器代际间具有良好的泛化能力，表明硬件感知设计在硬件升级时能带来更大的性能增益。

Figure 2: Rooflines of TPUv3, Volta SMX2 GPU, and Xeon Skylake CPU. TPU and GPU have overlapped rooflines because of their similar peak computation rate and memory bandwidth.