[论文解读] Partial transfusion: on the expressive influence of trainable batch norm parameters for transfer learning

Fahdi Kanavati, Masayuki Tsuneki|arXiv (Cornell University)|Feb 10, 2021

COVID-19 diagnosis using AI参考文献 25被引用 14

一句话总结

本文提出在医学图像迁移学习中仅微调可学习的批归一化（BN）参数——缩放因子γ和偏移因子β，证明该方法可实现与完整模型微调相当的性能。该方法因参数更少且可使用更高学习率，从而实现更快收敛，且在四种架构和九个医学图像数据集上均表现一致。

ABSTRACT

Transfer learning from ImageNet is the go-to approach when applying deep learning to medical images. The approach is either to fine-tune a pre-trained model or use it as a feature extractor. Most modern architecture contain batch normalisation layers, and fine-tuning a model with such layers requires taking a few precautions as they consist of trainable and non-trainable weights and have two operating modes: training and inference. Attention is primarily given to the non-trainable weights used during inference, as they are the primary source of unexpected behaviour or degradation in performance during transfer learning. It is typically recommended to fine-tune the model with the batch normalisation layers kept in inference mode during both training and inference. In this paper, we pay closer attention instead to the trainable weights of the batch normalisation layers, and we explore their expressive influence in the context of transfer learning. We find that only fine-tuning the trainable weights (scale and centre) of the batch normalisation layers leads to similar performance as to fine-tuning all of the weights, with the added benefit of faster convergence. We demonstrate this on a variety of seven publicly available medical imaging datasets, using four different model architectures.

研究动机与目标

• 探究可学习批归一化（BN）参数在医学图像迁移学习中的表达能力影响。
• 挑战一种普遍假设，即完整模型微调是实现最优性能的必要条件。
• 探究仅更新BN仿射参数（γ和β）是否可达到与完整微调相当的性能。
• 评估在迁移学习过程中更新BN参数与保持移动平均值固定的影响。
• 评估仅训练BN参数而使用随机权重的可行性，以理解BN层的内在表达能力。

提出的方法

• 仅微调批归一化层中可学习的缩放因子（γ）和偏移因子（β），同时保持所有其他权重固定。
• 比较五种训练策略的性能：特征提取、完整微调、仅BN微调、移动平均更新（BMA）以及仅训练BN参数的随机权重。
• 在九个公开医学图像数据集上使用四种预训练CNN架构——DenseNet121、ResNet50V2、InceptionV3和EfficientNetB3。
• 先训练最后的全连接层，然后微调BN参数，或同时训练两者。
• 在训练过程中保持BN层处于推理模式，以避免因更新移动平均值导致的不稳定性。
• 通过在多标签和二分类任务上的测试集ROC AUC评估模型性能。

实验结果

研究问题

• RQ1 仅微调批归一化仿射参数（γ和β）是否可在医学图像分类中实现与完整模型微调相当的性能？
• RQ2 在微调过程中更新批归一化移动平均值是否会导致性能劣于保持其固定？
• RQ3 当使用随机初始化权重但仅训练BN参数时，性能表现如何？
• RQ4 仅BN微调对收敛速度和模型稳定性有何影响？
• RQ5 是否存在影响仅BN微调有效性的架构或数据集特定因素？

主要发现

• 在所有四种架构和九个数据集上，仅微调批归一化仿射参数（γ和β）的性能与完整模型微调相当。
• 在DenseNet121上，仅BN微调在所有数据集上的ROC AUC得分与完整微调相差仅1-2%，且在任何任务上均无显著性能下降。
• 仅BN微调因可训练参数更少且可使用更高学习率，从而实现更快收敛。
• 将预训练模型作为特征提取器（不进行微调）的性能始终低于完整微调和仅BN微调。
• 在微调过程中更新移动平均统计量（BMA）导致大多数数据集性能下降，证实了保持其固定的优越性。
• 使用随机权重但仅训练BN参数在较简单的数据集（如Chest X-ray和Malaria）上取得了可接受的性能，但在EfficientNetB3上因梯度饱和而无法训练，凸显了对网络架构的依赖性。