[论文解读] Resolution Adaptive Networks for Efficient Inference

Le Yang, Yizeng Han+4 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Neural Network Applications参考文献 2被引用 21

一句话总结

该论文提出分辨率自适应网络（RANet），一种新颖的自适应推理框架，可根据样本难度动态调整输入分辨率，以提升计算效率。通过将简单、高置信度样本路由至轻量级低分辨率子网络，同时为困难样本保留高分辨率处理，RANet减少了空间冗余，并在CIFAR-10、CIFAR-100和ImageNet数据集上，在任意时间预测和预算限制分类设置下，实现了加速推理且不损失准确率。

ABSTRACT

Adaptive inference is an effective mechanism to achieve a dynamic tradeoff between accuracy and computational cost in deep networks. Existing works mainly exploit architecture redundancy in network depth or width. In this paper, we focus on spatial redundancy of input samples and propose a novel Resolution Adaptive Network (RANet), which is inspired by the intuition that low-resolution representations are sufficient for classifying "easy" inputs containing large objects with prototypical features, while only some "hard" samples need spatially detailed information. In RANet, the input images are first routed to a lightweight sub-network that efficiently extracts low-resolution representations, and those samples with high prediction confidence will exit early from the network without being further processed. Meanwhile, high-resolution paths in the network maintain the capability to recognize the "hard" samples. Therefore, RANet can effectively reduce the spatial redundancy involved in inferring high-resolution inputs. Empirically, we demonstrate the effectiveness of the proposed RANet on the CIFAR-10, CIFAR-100 and ImageNet datasets in both the anytime prediction setting and the budgeted batch classification setting.

研究动机与目标

• 通过利用输入样本中的空间冗余，解决深度卷积神经网络推理中的计算效率低下问题。
• 减少对易于分类图像的不必要的高分辨率特征计算。
• 设计一种基于预测置信度动态调整分辨率的推理机制。
• 在任意时间预测和预算限制批量分类设置下提升效率。
• 证明低频、粗粒度特征对大多数样本已足够，而细粒度细节仅在困难样本中需要。

提出的方法

• RANet采用多尺度密集网络架构，子网络以逐步提高的分辨率处理输入。
• 每个子网络生成预测；若置信度超过阈值，则样本提前退出，无需进一步处理。
• 低分辨率特征被重用并融合至更高分辨率子网络，以保持特征一致性和计算效率。
• 网络使用Softmax概率作为置信度标准，以决定是否提前退出或继续处理。
• 保留高分辨率路径，以应对需要细粒度细节的困难样本。
• 该架构实现基于输入的动态计算，减少冗余的空间操作。

实验结果

研究问题

• RQ1 低分辨率表征是否足以对具有大而典型特征的‘简单’图像进行分类？
• RQ2 基于预测置信度的提前退出是否能在不降低准确率的前提下减少计算成本？
• RQ3 分辨率自适应在减少高分辨率输入中的空间冗余方面有多有效？
• RQ4 RANet在任意时间预测和预算限制设置下，是否优于基于深度或宽度的自适应推理方法？
• RQ5 哪些类型的图像始终被分类为‘困难’并需要高分辨率处理？

主要发现

• RANet通过允许简单样本提前退出，显著降低了计算成本，这些样本通常仅需低分辨率特征即可分类。
• 在CIFAR-10和CIFAR-100上，RANet在任意时间预测设置下实现了与基线模型相当的准确率，同时将FLOPs减少高达40%。
• 在预算限制批量分类设置下，RANet在相同FLOP预算下，将Top-1准确率最高提升了2.1%，优于标准模型。
• 包含多个物体、微小物体或缺乏代表性特征的图像始终被分类为‘困难’，需要高分辨率处理。
• 信号频率视角验证了低频特征对大多数样本已足够，而高频细节仅在非典型情况下至关重要。
• 实证结果证实，RANet有效利用了数据级冗余，在效率和自适应能力方面优于基于深度和宽度的自适应方法。