[论文解读] Network Deconvolution

Chengxi Ye, Matthew Evanusa+6 more|arXiv (Cornell University)|May 28, 2019

Blind Source Separation Techniques参考文献 16被引用 16

一句话总结

本文提出网络去卷积（network deconvolution），一种通过使用基于最优L2的逆滤波，在每个卷积层之前去除卷积神经网络（CNN）特征中的像素级和通道级相关性的方法。该方法在CIFAR-10/100、MNIST、Fashion-MNIST、Cityscapes和ImageNet等多个数据集上，针对10种现代CNN架构，实现了更快的收敛速度和更优的准确率，优于批量归一化（batch normalization），且无需修改网络结构。

ABSTRACT

Convolution is a central operation in Convolutional Neural Networks (CNNs), which applies a kernel to overlapping regions shifted across the image. However, because of the strong correlations in real-world image data, convolutional kernels are in effect re-learning redundant data. In this work, we show that this redundancy has made neural network training challenging, and propose network deconvolution, a procedure which optimally removes pixel-wise and channel-wise correlations before the data is fed into each layer. Network deconvolution can be efficiently calculated at a fraction of the computational cost of a convolution layer. We also show that the deconvolution filters in the first layer of the network resemble the center-surround structure found in biological neurons in the visual regions of the brain. Filtering with such kernels results in a sparse representation, a desired property that has been missing in the training of neural networks. Learning from the sparse representation promotes faster convergence and superior results without the use of batch normalization. We apply our network deconvolution operation to 10 modern neural network models by replacing batch normalization within each. Extensive experiments show that the network deconvolution operation is able to deliver performance improvement in all cases on the CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST, Cityscapes, and ImageNet datasets.

研究动机与目标

• 解决CNN中冗余且相关的特征带来的训练效率低下与模型性能受限的挑战。
• 开发一种计算成本仅为卷积层几分之一的高效去相关方法。
• 以一种更有效、更具生物启发性的去卷积为基础的归一化技术，替代批量归一化。
• 证明去相关后的特征可产生稀疏表示，从而实现更快的收敛与更好的泛化能力。
• 提供一种与网络架构无关的通用替代方案，以取代批量归一化，从而在多种数据集与模型上提升性能。

提出的方法

• 网络去卷积通过反转像素与通道激活的相关性矩阵，应用最优L2逆变换来实现特征去相关。
• 通过低秩近似方法计算协方差矩阵K的逆，以降低计算成本。
• 该方法在前向传播中通过在每个卷积层或全连接层之前使用K⁻¹对输入特征进行变换来实现。
• 引入一种隐式去卷积技术，通过使用迭代求解器避免显式矩阵求逆，从而实现在低于卷积层计算成本的范围内运行。
• 该方法作为每层前的预处理步骤应用，取代所有评估模型中的批量归一化。
• 对于1×1卷积和全连接层，该方法通过消除单元间相关性来实现隐藏单元的去相关。

实验结果

研究问题

• RQ1 在CNN特征中去除像素级与通道级相关性，是否能提升训练收敛速度与模型准确率？
• RQ2 网络去卷积是否在多种架构与数据集上均优于批量归一化，成为更有效的归一化技术？
• RQ3 去卷积产生的稀疏表示是否能带来更快的优化过程与更好的泛化性能？
• RQ4 去卷积是否能以足够低的计算成本实现，使其在深度网络中具备实用性（成本低于完整卷积）？
• RQ5 生物启发的中心-周围感受野结构是否在提升人工神经网络性能方面具有合理性？

主要发现

• 网络去卷积在CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST、Cityscapes和ImageNet上，对所有10种评估的现代CNN架构均提升了准确率。
• 在CIFAR-10上，使用去卷积进行20轮训练的性能，与使用批量归一化的100轮训练相当。
• 在ImageNet上，使用去卷积的VGG-11模型达到71.95%的top-1准确率，优于原始的使用批量归一化的VGG-13模型（71.55%），提升+0.40%。
• 在VGG-11上，去卷积带来的性能提升是批量归一化的两倍（+1.36% vs BN）。
• 去卷积在全连接网络中也优于批量归一化，证明其泛化能力不仅限于卷积层。
• 第一层的去卷积滤波器呈现出类似生物视网膜神经节细胞的中心-周围结构，支持该方法的生物合理性。