[论文解读] Position, Padding and Predictions: A Deeper Look at Position Information in CNNs

Md Amirul Islam, Matthew Kowal+3 more|arXiv (Cornell University)|Jan 28, 2021

Advanced Neural Network Applications参考文献 71被引用 41

一句话总结

论文研究CNN中绝对位置信息的编码方式，显示零填充驱动位置信息编码，分析边界效应，并展示填充和画布选择如何影响下游任务如分类和分割。

ABSTRACT

In contrast to fully connected networks, Convolutional Neural Networks (CNNs) achieve efficiency by learning weights associated with local filters with a finite spatial extent. An implication of this is that a filter may know what it is looking at, but not where it is positioned in the image. In this paper, we first test this hypothesis and reveal that a surprising degree of absolute position information is encoded in commonly used CNNs. We show that zero padding drives CNNs to encode position information in their internal representations, while a lack of padding precludes position encoding. This gives rise to deeper questions about the role of position information in CNNs: (i) What boundary heuristics enable optimal position encoding for downstream tasks?; (ii) Does position encoding affect the learning of semantic representations?; (iii) Does position encoding always improve performance? To provide answers, we perform the largest case study to date on the role that padding and border heuristics play in CNNs. We design novel tasks which allow us to quantify boundary effects as a function of the distance to the border. Numerous semantic objectives reveal the effect of the border on semantic representations. Finally, we demonstrate the implications of these findings on multiple real-world tasks to show that position information can both help or hurt performance.

研究动机与目标

• 评估CNN是否编码绝对位置信息，并确定最大化此编码的填充类型。
• 检查边界效应如何影响学习表示和下游任务性能。
• 了解画布/背景选择如何与填充相互作用，塑造位置信息编码和语义特征。
• 提供逐位置分析，以揭示边界接近度如何影响学习和决策。

提出的方法

• 提出位置编码网络（PosENet），将卷积编码器与简单的位置编码模块配对，以预测绝对位置信息图。
• 生成梯度样 ground-truth 地图和高斯地形图，以量化不同CNN骨干网络捕获的位置信息。
• 比较不同填充类型（零填充、对称填充、复制填充、循环填充）及分析它们对位置信息编码和下游任务性能的影响。
• 通过在不同颜色和网格尺寸的画布上放置图像补丁，进行位置依赖性实验，研究跨不同图像位置的边界效应。
• 使用不同网格大小（k 在 {3,5,7,9,11,13}）评估位置依赖的图像分类和分割，并分析对边界效应的鲁棒性。
• 探索无填充实现和双线性插值，以在不同填充配置间保持公平的空间分辨率。

实验结果

研究问题

• RQ1 零填充是否相对于其他填充类型最大化绝对位置信息？
• RQ2 边界效应如何在不同图像位置与绝对位置信息交互？
• RQ3 绝对位置信息是否会根据任务（如分类与分割）改善或妨碍语义学习？
• RQ4 画布颜色和基于网格的放置如何影响位置信息编码与下游性能？
• RQ5 在CNN层级的哪个层次存储位置信息，以及填充如何影响这种分布？

主要发现

• 零填充相对于其他填充类型编码最大化的绝对位置信息。
• 位置信息在CNN的更深层更强的编码，顶层（如VGG16中的f5）显示更强的位置信息编码。
• 靠近边界的填充是预训练模型中绝对位置信号的主要来源，移除填充会降低此信息。
• 在常见填充类型中，零填充提供最强的位置信息；循环填充通常是第二佳，而对称填充和复制填充提供较弱的信号。
• 画布颜色（黑、白、均值）与填充相互作用，影响边界效应和任务性能，在无填充设置中黑色画布通常增强鲁棒性。
• 位置依赖性实验表明边界效应影响输入全局的性能，而不仅仅在边界处，填充可以调制这一效应。
• 位置信息可以作为有用特征或缺陷，视任务而定，帮助像语义分割这样的对位置敏感的任务，但可能阻碍如纹理识别等对平移不变的任务。