[论文解读] Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units

Wenling Shang, Kihyuk Sohn+2 more|arXiv (Cornell University)|Mar 16, 2016

Advanced Neural Network Applications参考文献 30被引用 237

一句话总结

本文介绍 Concatenated ReLU (CReLU)，一种激活函数，能够同时保留正相位与负相位信息，分析其重建性质，并在 CIFAR-10/100 与 ImageNet 的各种 CNN 架构集成时展示性能提升和参数效率。

ABSTRACT

Recently, convolutional neural networks (CNNs) have been used as a powerful tool to solve many problems of machine learning and computer vision. In this paper, we aim to provide insight on the property of convolutional neural networks, as well as a generic method to improve the performance of many CNN architectures. Specifically, we first examine existing CNN models and observe an intriguing property that the filters in the lower layers form pairs (i.e., filters with opposite phase). Inspired by our observation, we propose a novel, simple yet effective activation scheme called concatenated ReLU (CRelu) and theoretically analyze its reconstruction property in CNNs. We integrate CRelu into several state-of-the-art CNN architectures and demonstrate improvement in their recognition performance on CIFAR-10/100 and ImageNet datasets with fewer trainable parameters. Our results suggest that better understanding of the properties of CNNs can lead to significant performance improvement with a simple modification.

研究动机与目标

• 识别低层卷积层中 CNN 的内在特性，揭示冗余的迹象。
• 提出一种简单的激活函数（CReLU），以同时保留正信息和负信息。
• 对具有 CReLU 的 CNN 的重建性质进行理论分析。
• 在 CIFAR-10/100 与 ImageNet 的标准架构上展示性能提升和参数效率。

提出的方法

• 观察并分析早期 CNN 层中的过滤器配对，注意到相位相反的对。
• 将 Concatenated ReLU (CReLU) 定义为 [ReLU(x), ReLU(-x)]。
• 理论表征一个卷积层后接 CReLU 的重建能力（有无池化均讨论）。
• 将 CReLU 集成到现有架构中（替换 ReLU），并在 CIFAR-10/100 与 ImageNet 上与 AVR 进行比较。
• 通过经验指标和简单重建评估正则化和不变性特性。

实验结果

研究问题

• RQ1 低层 CNN 过滤器是否形成相位相反的对，表明在 ReLU 下存在冗余？
• RQ2 一种能同时保留正负相位信息的激活（CReLU）是否能提升性能并减少参数？
• RQ3 具有 CReLU 的 CNN 的重建能力是多少，它如何影响特征表达能力？
• RQ4 在实际中，CReLU 如何影响正则化和不变特征学习？
• RQ5 在如 ImageNet 这样的大规模数据集上，将 CReLU 应用于不同网络深度会产生怎样的影响？

主要发现

• 与 ReLU 相比，CReLU 集成在 CIFAR-10/100 和 ImageNet 上实现了更高的识别性能，同时参数数量减少或相当。
• ReLU 网络的低层过滤器显示负相配对；CReLU 通过同时保留两相来消除配对的需求，在 ImageNet 上，使用 CReLU 时未观察到配对。
• 在某些配置下，CReLU 可以用大约一半参数实现相似或更好的准确性，尤其是在将其应用于深层网络的早期层时。
• 理论结果显示，单个 CReLU 层保留足以重建其范围内的输入分量的信息，支持其表达能力。
• CReLU 模型在各数据集上表现出更高的不变性分数，表明更鲁棒的表示。
• 重建实验表明 CReLU 能实现有意义的特征反演，与所提出的重建特性相符。