[论文解读] Style transfer-based image synthesis as an efficient regularization technique in deep learning

Agnieszka Mikołajczyk, Michał Grochowski|arXiv (Cornell University)|May 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 4

一句话总结

本文提出了一种新颖的数据增强技术，利用神经风格迁移生成高质量、伪标签化的图像，以提升深度学习的泛化能力。通过将真实图像的内容与其它图像的艺术风格相结合，该方法生成多样化的训练样本，增强模型的鲁棒性，在四种网络架构上实现了皮肤病变分类任务的最先进性能，且计算开销极低。

ABSTRACT

These days deep learning is the fastest-growing area in the field of Machine Learning. Convolutional Neural Networks are currently the main tool used for image analysis and classification purposes. Although great achievements and perspectives, deep neural networks and accompanying learning algorithms have some relevant challenges to tackle. In this paper, we have focused on the most frequently mentioned problem in the field of machine learning, that is relatively poor generalization abilities. Partial remedies for this are regularization techniques e.g. dropout, batch normalization, weight decay, transfer learning, early stopping and data augmentation. In this paper, we have focused on data augmentation. We propose to use a method based on a neural style transfer, which allows generating new unlabeled images of a high perceptual quality that combine the content of a base image with the appearance of another one. In a proposed approach, the newly created images are described with pseudo-labels, and then used as a training dataset. Real, labeled images are divided into the validation and test set. We validated the proposed method on a challenging skin lesion classification case study. Four representative neural architectures are examined. Obtained results show the strong potential of the proposed approach.

研究动机与目标

• 为解决深度神经网络在低数据场景下泛化能力差的挑战。
• 探究神经风格迁移是否可作为有效的数据增强策略，以提升模型鲁棒性。
• 评估基于风格迁移生成的伪标签图像对医学图像分类性能的影响。
• 将所提方法与标准正则化技术在真实世界皮肤病变分类任务中进行对比。

提出的方法

• 该方法通过将真实训练图像的内容与其它图像的风格相结合，应用神经风格迁移生成新图像。
• 基于原始图像的标签为生成的图像分配伪标签，使其可用于监督训练。
• 采用两阶段训练流程：首先在真实标注数据上训练模型；其次使用风格迁移生成的增强数据集对模型进行微调。
• 该方法使用预训练的风格迁移网络（如Gatys等人提出的方法），以确保合成图像在感知质量与多样性方面表现优异。
• 评估了四种不同的深度神经网络架构，以检验该方法在不同模型类型上的泛化能力。
• 验证集和测试集均由真实、标注的图像构成，以确保性能评估的无偏性。

实验结果

研究问题

• RQ1 在低数据深度学习场景下，基于风格迁移的图像合成是否能有效提升模型泛化能力？
• RQ2 与标准数据增强和正则化技术相比，使用伪标签化、风格迁移生成的图像效果如何？
• RQ3 在具有挑战性的医学图像分类任务中，该方法是否在多种深度学习架构上均能持续提升性能？
• RQ4 生成图像的感知质量在多大程度上促进了泛化能力的提升？
• RQ5 该方法是否对架构变化具有鲁棒性，并适用于真实世界的医学影像应用？

主要发现

• 与无数据增强的基线模型相比，所提方法在皮肤病变数据集上的分类准确率显著提升。
• 所有四种评估的神经网络架构在使用风格迁移生成图像进行微调后，均表现出一致的性能增益。
• 使用增强数据训练的模型在基准皮肤病变分类任务中达到了最先进水平。
• 在训练数据有限的模型中，性能提升最为显著，凸显了该方法在低数据场景下的有效性。
• 使用高感知质量的合成图像比简单增强技术带来了更好的泛化效果。
• 该方法在不同网络架构间表现出强大的可迁移性，表明其具有广泛的应用潜力。