[论文解读] Non-binary deep transfer learning for image classification

Jo Plested, Xuyang Shen+1 more|arXiv (Cornell University)|Jul 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

本文通过提出一种非二元的超参数调优方法，挑战了深度迁移学习中的二元范式——例如选择性地迁移层、使用混合学习率，以及结合L2SP与L2正则化——在四个图像分类数据集上实现了最先进或接近最先进性能，优于标准的二元微调设置。

ABSTRACT

The current standard for a variety of computer vision tasks using smaller numbers of labelled training examples is to fine-tune from weights pre-trained on a large image classification dataset such as ImageNet. The application of transfer learning and transfer learning methods tends to be rigidly binary. A model is either pre-trained or not pre-trained. Pre-training a model either increases performance or decreases it, the latter being defined as negative transfer. Application of L2-SP regularisation that decays the weights towards their pre-trained values is either applied or all weights are decayed towards 0. This paper re-examines these assumptions. Our recommendations are based on extensive empirical evaluation that demonstrate the application of a non-binary approach to achieve optimal results. (1) Achieving best performance on each individual dataset requires careful adjustment of various transfer learning hyperparameters not usually considered, including number of layers to transfer, different learning rates for different layers and different combinations of L2SP and L2 regularization. (2) Best practice can be achieved using a number of measures of how well the pre-trained weights fit the target dataset to guide optimal hyperparameters. We present methods for non-binary transfer learning including combining L2SP and L2 regularization and performing non-traditional fine-tuning hyperparameter searches. Finally we suggest heuristics for determining the optimal transfer learning hyperparameters. The benefits of using a non-binary approach are supported by final results that come close to or exceed state of the art performance on a variety of tasks that have traditionally been more difficult for transfer learning.

研究动机与目标

• 挑战迁移学习中所有层必须全部迁移或完全不迁移、正则化必须统一应用的二元假设。
• 探究选择性迁移低层（更通用的层）是否能优于完整迁移。
• 探索非均匀学习率和混合正则化（L2SP + L2）作为标准二元微调策略的替代方案。
• 基于预训练特征与目标数据集的匹配度，制定确定最优超参数的启发式方法。
• 证明最优性能依赖于数据集，需采用非二元、自适应的超参数调优。

提出的方法

• 在四个数据集（Caltech、Cars、Aircraft、DTD）上进行了广泛的实证评估，使用ImageNet预训练权重，未进行额外预训练。
• 提出一种非传统的超参数搜索策略，包括对不同层组（如低层与高层）分别设置学习率，并选择性地应用L2SP正则化。
• 引入一种混合正则化方法，将L2SP（向预训练权重衰减）与L2（向零衰减）分别应用于不同层组。
• 利用固定特征模型与随机初始化模型之间的性能差异作为启发式方法，指导最优超参数选择。
• 使用地球移动距离（EMD）和Fisher比率来度量特征相似性，并指导层的选择。
• 基于固定特征模型与随机初始化模型之间性能差距的符号和大小，开发了确定最优设置的启发式方法。

实验结果

研究问题

• RQ1 非二元的迁移学习超参数方法（如选择性层迁移和混合学习率）是否能优于标准的二元微调？
• RQ2 在不同层组上结合L2SP与L2正则化是否优于统一应用其中任一正则化方法？
• RQ3 如何定量衡量预训练权重与目标数据集的匹配度，以指导最优超参数配置？
• RQ4 是否存在一种可靠的启发式方法，可在无需 exhaustive 超参数搜索的情况下预测最优迁移学习设置？
• RQ5 源数据集与目标数据集之间的相似性在多大程度上影响迁移学习超参数的最优选择？

主要发现

• 在Caltech-101上，最优设置使用单个新层、学习率为0.0025并结合L2SP正则化，达到85.94%准确率，优于默认设置（84.52%）和最先进方法（84.9%）。
• 在Cars数据集上，最优配置使用一个新层，高层使用高学习率（0.025），低层使用低学习率（0.01），准确率达到95.35%，超过默认设置（94.86%）和最先进方法（96.0%）。
• 在Aircraft数据集上，最优设置使用三个新层，最后一层学习率为0.01，高层学习率为0.025，准确率达到94.50%，超过默认设置（94.42%）和最先进方法（93.9%）。
• 在DTD数据集上，最优配置使用两个新层，学习率为0.002，并对14个层应用L2SP正则化，准确率达到78.90%，与最先进方法持平（78.9%）。
• 固定特征模型与随机初始化模型之间的性能差距是预测最优超参数的强指标：负差距表示应重新初始化更多层，正差距表示应使用L2SP。
• EMD相似性度量在指导超参数选择方面不可靠，而归一化的Fisher比率虽有限但具备可用的预测能力。