[论文解读] Technical Report: Combining knowledge from Transfer Learning during training and Wide Resnets

Wolfgang Fuhl|arXiv (Cornell University)|Jun 20, 2022

Neural Networks and Applications被引用 31

一句话总结

论文将 Wide ResNet 架构与受迁移学习启发的深度信息结合，改进 CNN 性能，提出在最后层引入深度信息的池化连接以及更深的残差阶段。

ABSTRACT

In this report, we combine the idea of Wide ResNets and transfer learning to optimize the architecture of deep neural networks. The first improvement of the architecture is the use of all layers as information source for the last layer. This idea comes from transfer learning, which uses networks pre-trained on other data and extracts different levels of the network as input for the new task. The second improvement is the use of deeper layers instead of deeper sequences of blocks. This idea comes from Wide ResNets. Using both optimizations, both high data augmentation and standard data augmentation can produce better results for different models. Link: https://github.com/wolfgangfuhl/PublicationStuff/tree/master/TechnicalReport1/Supp

研究动机与目标

• 通过利用来自所有网络层的信息传递到最终分类器来提升 CNN 泛化能力。
• 采用 Wide ResNet 的更深结构块以保留信息并实现更好的特征传播。
• 提出一种带有深度池化并在每个阶段提高深度的架构，以提升在标准基准上的准确性。

提出的方法

• 在每个残差块前沿添加沿深度的平均池化，并进行空间降维，为最后一层提供额外的信息源。
• 重新设计残差块，使每个阶段更深但块数更少（ResNet32 的深度翻倍），并集成前向传播的深度池化。
• 引入类似 ImageNet 风格的初始卷积输入，并对标准的 ResNet32、双深度变体以及新架构（NewNet）在有无所提信息路径的情况下进行比较。
• 在 CIFAR-100（32x32 输入）上使用 Shift+Flip 增强，标准 SGD 弹性动量，且每个模型训练 400 个 epoch 进行评估。
• 对比 Wide ResNet 28x10 与 FastAutoAugment 的效果，与所提方法比较以评估增强对准确性的影响。

实验结果

研究问题

• RQ1 将来自所有层的信息提供给最终分类器是否能够提升泛化能力？
• RQ2 在每个阶段增加深度（Wide ResNet 风格）是否在所提信息路径下带来更好的性能？
• RQ3 在不同架构上，所提深度池化信息路径对 CIFAR-100 的准确度影响如何？

主要发现

Model	Augmentation	CIFAR-100 精度
ResNet32	Shift + Flip	76.7
ResNet32 + Proposed	Shift + Flip	77.6
ResNet32 (Double depth)	Shift + Flip	76.9
ResNet32 (Double depth) + Proposed	Shift + Flip	78.11
NewNet (Figure 2 )	Shift + Flip	78.94
NewNet (Figure 2 , double depth)	Shift + Flip	79.67
WideResNet 28x10	FastAutoAugment	82.01
WideResNet 28x10 + Proposed	FastAutoAugment	83.52

• 在 Shift+Flip 下，ResNet32 采用所提信息路径后准确度从 76.7 提升到 77.6。
• 带有所提路径的双深度 ResNet32 提升至 78.11。
• NewNet（图2）在所提路径下达到 79.67，是表格中非 Wide 模型中的最高值。
• WideResNet 28x10 在 FastAutoAugment 下达到 82.01，若结合所提路径则为 83.52。
• 深层阶段与所提信息源的组合在所测试的配置中带来最佳结果。
• 报告指出更广泛的数据增强（FastAutoAugment）和所提方法对不同模型均有帮助。