[论文解读] Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

Wenjie Luo, Yujia Li+2 more|arXiv (Cornell University)|Jan 15, 2017

Neural Networks and Reservoir Computing被引用 805

一句话总结

该论文引入了有效感受野（ERF），显示其高斯分布，并且它只占理论感受野的一小部分；它分析了结构、非线性、 dropout、下采样和跳跃连接如何影响ERF，并提出扩大ERF的方法。

ABSTRACT

We study characteristics of receptive fields of units in deep convolutional networks. The receptive field size is a crucial issue in many visual tasks, as the output must respond to large enough areas in the image to capture information about large objects. We introduce the notion of an effective receptive field, and show that it both has a Gaussian distribution and only occupies a fraction of the full theoretical receptive field. We analyze the effective receptive field in several architecture designs, and the effect of nonlinear activations, dropout, sub-sampling and skip connections on it. This leads to suggestions for ways to address its tendency to be too small.

研究动机与目标

• 为深度CNN在具有大量输出单元的任务（如语义分割）研究感受野提供动机。
• 定义并量化ERF为对中央输出单元具有非微弱影响的输入区域。
• 描述ERF在感受野内的分布以及架构和训练如何影响ERF。
• 提出通过初始化和结构设计来增大ERF大小的策略。

提出的方法

• 通过偏导数 ∂y0,0/∂x0,i,j 定义ERF，并从输出中心的一个单元进行反向传播来计算。
• 分析线性CNN以显示输入影响的高斯状分布，并将其推广到随机权重和非均匀卷积核。
• 结合非线性激活函数和训练动态来研究它们对ERF的影响。
• 评估 dropout、下采样和膨胀卷积对ERF的影响。
• 研究跳跃连接及其趋向缩小ERF的现象，并给出经验证据。
• 提出初始化和架构调整以增大ERF。

实验结果

研究问题

• RQ1 感受野中输入像素对给定输出单元的影响分布是什么（ERF分布）？
• RQ2 网络深度、卷积核大小和权重初始化如何影响ERF？
• RQ3 非线性、dropout、下采样和膨胀卷积对ERF有何影响？
• RQ4 如跳跃连接等架构选择在训练过程中如何影响ERF？
• RQ5 哪些实际策略可以增大ERF以更好地捕捉大尺度信息？

主要发现

• 在许多情形下，感受野内输入影响的分布趋向于高斯分布。
• ERF通常只占理论感受野的一小部分，且随深度的增加按√n增加（而非线性随n增加）。
• 在使用均匀或随机权重且没有非线性时，ERF为高斯分布；非线性（如ReLU）使ERF变得更具变异性，但在实践中仍近似高斯。
• Dropout不改变ERF的高斯形状；下采样和膨胀卷积可以显著增大ERF大小；跳跃连接往往缩小ERF。
• 在训练过程中，ERF可以扩展；在分类和语义分割模型中，ERF从初始的小尺寸增长到训练结束时的显著较大尺寸。
• 一个简单的建议是通过修改初始化使中心强调扩散到边缘，部分增加ERF，尽管架构改动（如膨胀）可能更有效。