[论文解读] Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

Zhenda Xie, Zheng Zhang+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Neural Network Applications参考文献 38被引用 10

一句话总结

本文提出一种空间自适应推理方法，通过基于激活响应的随机采样特征图位置，并利用学习的插值方法重建完整特征图，从而在卷积神经网络（CNN）中减少计算量。利用Gumbel-Softmax重参数化技巧，该方法实现了对二值采样掩码的可微训练，在目标检测、语义分割和图像分类任务中均实现了显著的FLOPs减少，且精度损失极小。

ABSTRACT

In the feature maps of CNNs, there commonly exists considerable spatial redundancy that leads to much repetitive processing. Towards reducing this superfluous computation, we propose to compute features only at sparsely sampled locations, which are probabilistically chosen according to activation responses, and then densely reconstruct the feature map with an efficient interpolation procedure. With this sampling-interpolation scheme, our network avoids expending computation on spatial locations that can be effectively interpolated, while being robust to activation prediction errors through broadly distributed sampling. A technical challenge of this sampling-based approach is that the binary decision variables for representing discrete sampling locations are non-differentiable, making them incompatible with backpropagation. To circumvent this issue, we make use of a reparameterization trick based on the Gumbel-Softmax distribution, with which backpropagation can iterate these variables towards binary values. The presented network is experimentally shown to save substantial computation while maintaining accuracy over a variety of computer vision tasks.

研究动机与目标

• 通过利用特征图中的空间冗余，解决深度卷积神经网络（CNN）在资源受限设备上的高计算成本问题。
• 克服确定性稀疏方法仅在低激活区域跳过计算的低效性。
• 开发一种可微分的采样机制，即使二值采样决策本身不可微，也能实现端到端训练。
• 通过将采样分布于整个特征图而非集中于高激活区域，提升对激活预测误差的鲁棒性。
• 在多种视觉任务中，实现优于现有稀疏推理方法的FLOPs-精度权衡。

提出的方法

• 提出一种随机采样策略，将激活图视为概率场，并根据响应幅度的概率性地采样空间位置。
• 使用Gumbel-Softmax重参数化技巧，通过连续松弛实现对二值采样掩码的反向传播。
• 训练一种内容感知的采样模块，根据特征图激活值动态调整采样密度。
• 通过可学习的插值核实现特征重建，且该插值核与采样模块联合优化。
• 引入稀疏网格先验——在特征图上均匀分布采样点——以提升低激活区域的插值稳定性。
• 使用可微分损失函数，端到端优化采样与插值模块，以平衡精度与计算效率。

实验结果

研究问题

• RQ1 随机的、内容感知的采样能否在不损失精度的前提下减少卷积神经网络（CNN）的计算量？
• RQ2 所提出的Gumbel-Softmax重参数化技巧如何实现对二值采样决策的可微训练？
• RQ3 引入网格先验是否能提升插值质量与推理稳定性？
• RQ4 在FLOPs-精度权衡方面，该方法与确定性稀疏性和均匀采样相比表现如何？
• RQ5 该方法在不同网络架构和视觉任务上的泛化能力如何？

主要发现

• 所提方法在COCO目标检测和Cityscapes语义分割任务中，FLOPs减少高达50%，同时mAP与基线方法相当或更优。
• 在COCO验证集上，使用ResNeXt-101模型，该方法以158.6 GFLOPs实现44.1 mAP，优于相同FLOP水平下的均匀采样方法。
• 推理稳定性高，五次运行的mAP方差低于0.02；当移除网格先验后，方差显著上升至0.09。
• Gumbel-Softmax调度中最终温度对性能影响极小，不同测试值之间的mAP差异小于0.2，FLOPs差异小于3 GFLOPs。
• 更深的残差块表现出更高的稀疏性（例如，损失权重较低的深层块中稀疏度可达90%），表明语义特征中存在更高的空间冗余。
• 该方法在各类任务中均保持强性能：在ImageNet上达到与基线模型相当的精度，同时降低FLOPs；在COCO和Cityscapes上优于均匀采样方法。