[论文解读] Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Wenjie Luo, Yujia Li+2 more|arXiv (Cornell University)|Jan 15, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用 823

一句话总结

本文在深度卷积神经网络中定义并分析了有效感受野（ERF），表明其遵循高斯分布并只占理论感受野的一小部分；同时考察了结构与训练如何影响 ERF，并提出扩大 ERF 的策略。

ABSTRACT

We study characteristics of receptive fields of units in deep convolutional networks. The receptive field size is a crucial issue in many visual tasks, as the output must respond to large enough areas in the image to capture information about large objects. We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field. We analyze the effective receptive field in several architecture designs, and the effect of nonlinear activations, dropout, sub-sampling and skip connections on it. This leads to suggestions for ways to address its tendency to be too small.

研究动机与目标

• 激发对深度 CNN 感受野及其在密集预测任务中作用的研究。
• 定义并量化有效感受野（ERF）及其高斯分布。
• 分析网络设计选择（深度、卷积核大小、池化、跳跃连接）与训练因素如何影响 ERF。
• 提出实际可行的方法来增大 ERF，包括初始化方案和架构变更。

提出的方法

• 将 ERF 定义为对中心输出单元有非微弱影响的输入像素区域，用梯度 ∂y0,0/∂x0,i,j 来衡量。
• 分析线性网络，展示梯度如何传播并在各层形成近似高斯分布。
• 通过方差传播及相关近似，将分析扩展到非线性激活、 dropout、子采样、膨胀卷积和跳跃连接等情形。
• 在训练期间通过对人工构建的 CNN 和真实模型反向传播单元梯度来经验性评估 ERF。
• 提出一种新的权重初始化方式，使中心权重下降、外围权重上升以扩展 ERF，并讨论如膨胀卷积或稀疏连接等架构选项。

实验结果

研究问题

• RQ1 深度 CNN 中 ERF 的形状和范围是什么，它与理论感受野有何关系？
• RQ2 架构选择和训练实践如何影响 ERF，我们是否可以设计有效扩大 ERF 的方法？
• RQ3 ERF 在训练过程中是否会增长，非线性、 dropout、子采样和跳跃连接如何影响它？
• RQ4 初始化或架构变更是否可以改变 ERF 分布，以更好地捕捉来自更大图像区域的信息？

主要发现

• ERF 具有高斯分布并且仅占据理论感受野的一小部分。
• ERF 的大小大致随层数平方根增长，而它覆盖的感受野份额随 1/√n 下降，表明随着网络加深，ERF 相对于 RF 变小。
• 子采样和膨胀卷积可以增大 ERF，跳跃连接往往会降低 ERF。
• 非线性激活使 ERF 大致保持高斯分布，但其影响可能使 ERF 的高斯性不那么完美，特别是在 ReLU 情况下。
• 在训练过程中，ERF 在分类和分割网络中都可能显著增长，即使理论 RF 较大。