[论文解读] Padding Module: Learning the Padding in Deep Neural Networks

Fahad Alrasheedi, Xin Zhong+1 more|arXiv (Cornell University)|Jan 11, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出了一种可训练的填充模块（Padding Module），该模块能够为深度神经网络中的输入图像或特征图学习生成逼真且与数据相关的填充。通过从输入结构中构建内部真实标签（ground truth）和预测器，该模块利用局部损失函数优化自身参数，从而提升下游任务性能——在VGG16和ResNet50上分别实现比零填充（zero padding）高1.23%和0.44%的准确率。

ABSTRACT

During the last decades, many studies have been dedicated to improving the performance of neural networks, for example, the network architectures, initialization, and activation. However, investigating the importance and effects of learnable padding methods in deep learning remains relatively open. To mitigate the gap, this paper proposes a novel trainable Padding Module that can be placed in a deep learning model. The Padding Module can optimize itself without requiring or influencing the model's entire loss function. To train itself, the Padding Module constructs a ground truth and a predictor from the inputs by leveraging the underlying structure in the input data for supervision. As a result, the Padding Module can learn automatically to pad pixels to the border of its input images or feature maps. The padding contents are realistic extensions to its input data and simultaneously facilitate the deep learning model's downstream task. Experiments have shown that the proposed Padding Module outperforms the state-of-the-art competitors and the baseline methods. For example, the Padding Module has 1.23% and 0.44% more classification accuracy than the zero padding when tested on the VGG16 and ResNet50.

研究动机与目标

• 解决深度学习中缺乏可训练、自适应填充方法的问题，以基于输入结构优化填充内容。
• 开发一种自监督的填充机制，不依赖或干扰主模型的损失函数。
• 通过学习输入边界的真实扩展，提升深度神经网络在图像分类任务中的性能。
• 探究将填充模块置于网络架构不同位置的影响。

提出的方法

• 填充模块从输入的实际边界构建真实标签，并利用邻近区域训练填充值的预测器。
• 采用与主模型损失函数分离的局部损失函数，以最小化预测填充值与真实标签之间的差异。
• 通过在预测器上应用卷积操作生成填充，实现端到端的反向传播训练。
• 梯度通过模型反向传播，但仅作用于非填充区域，从而保持对前序层的梯度流动。
• 该模块插入卷积层之前，可置于网络中的多个位置，如网络开头、中间或末尾。
• 该方法设计为即插即用，兼容现有架构（如VGG16和ResNet50），无需修改网络结构。

实验结果

研究问题

• RQ1 可训练的填充模块能否学习生成逼真且与数据相关的填充，从而提升模型性能？
• RQ2 所提出的填充模块在图像分类任务中，与零填充及当前最先进的非可训练填充方法相比，性能如何？
• RQ3 填充模块在网络中的位置（如早期层 vs. 晚期层）是否影响其有效性？
• RQ4 填充模块能否在不依赖主模型损失函数的情况下独立训练，同时仍提升下游任务的准确率？

主要发现

• 在VGG16上，填充模块达到92.92%的准确率，比零填充（91.43%）高出1.23个百分点。
• 在ResNet50上，模块达到95.08%的准确率，比零填充（94.64%）高出0.44个百分点。
• 在VGG16中将填充模块置于多个位置（开头、中间、末尾）可达到92.18%的准确率，优于单一位置的放置方式。
• 在VGG16中，将填充模块置于每个卷积层之前，达到92.8%的准确率，为所有测试配置中的最高值。
• 与零填充相比，该模块的推理时间每轮翻倍，但准确率的显著提升弥补了这一代价。
• 消融实验表明，浅层位置的放置比深层位置更有效，表明早期特征优化具有优势。