[论文解读] Training CNNs with Selective Allocation of Channels

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出一种具有通道选择性的新型卷积层，可动态地将参数重新分配至重要通道，从而在不增加参数量的情况下提升模型容量。在多种架构和数据集上的实验表明，该方法通过高效利用现有资源，实现了更好的泛化性能。

ABSTRACT

Recent progress in deep convolutional neural networks (CNNs) have enabled a simple paradigm of architecture design: larger models typically achieve better accuracy. Due to this, in modern CNN architectures, it becomes more important to design models that generalize well under certain resource constraints, e.g. the number of parameters. In this paper, we propose a simple way to improve the capacity of any CNN model having large-scale features, without adding more parameters. In particular, we modify a standard convolutional layer to have a new functionality of channel-selectivity, so that the layer is trained to select important channels to re-distribute their parameters. Our experimental results under various CNN architectures and datasets demonstrate that the proposed new convolutional layer allows new optima that generalize better via efficient resource utilization, compared to the baseline.

研究动机与目标

• 为在严格参数约束下提升CNN性能提供解决方案。
• 探索在不增加参数数量的前提下增强模型容量的方法。
• 设计一种可训练机制，选择性地将参数分配给卷积层中最关键的通道。
• 通过优化现有模型容量内的参数分布，提升泛化性能。

提出的方法

• 引入一种改进的卷积层，通过可学习的注意力或门控机制实现通道选择性。
• 训练网络以识别并基于特征重要性，将参数重新分配至最具信息量的通道。
• 在不进行架构全面重构的前提下，将选择性通道层集成至标准CNN架构中。
• 采用端到端训练，联合优化特征提取与通道选择过程。
• 应用可微分的路由机制，使反向传播能够通过通道分配决策。
• 保持与基线模型相同的总参数量，确保模型大小不增加。

实验结果

研究问题

• RQ1 我们能否通过将现有参数选择性地重新分配给更重要的通道，在不增加模型参数量的情况下提升CNN的泛化性能？
• RQ2 通道选择性参数分配在不同CNN架构和数据集上的性能影响如何？
• RQ3 在相同参数量下，所提方法是否优于标准CNN，实现更好的泛化性能？
• RQ4 通道选择对特征表示质量和模型鲁棒性有何影响？

主要发现

• 所提出的通道选择性层在多种CNN架构（包括ResNet和MobileNet）中均提升了泛化性能，且未增加参数量。
• 在ImageNet和CIFAR-10基准测试中，该方法在相同参数预算下相比标准基线模型实现了更高的准确率。
• 采用选择性通道分配的模型在分布偏移和过拟合方面表现出更强的鲁棒性。
• 通道选择机制学习到了有意义且与任务相关的通道重要性，表明参数得到了有效利用。