[论文解读] What makes ImageNet good for transfer learning?

Minyoung Huh, Pulkit Agrawal+1 more|arXiv (Cornell University)|Aug 30, 2016

Domain Adaptation and Few-Shot Learning参考文献 53被引用 308

一句话总结

本文通过实证分析ImageNet数据的哪些方面（规模、类别数量、粒度和数据划分）实际驱动迁移学习性能，发现关于数据量和类别丰富性的许多普遍观点并不像以前所认为的那样关键。

ABSTRACT

The tremendous success of ImageNet-trained deep features on a wide range of transfer tasks begs the question: what are the properties of the ImageNet dataset that are critical for learning good, general-purpose features? This work provides an empirical investigation of various facets of this question: Is more pre-training data always better? How does feature quality depend on the number of training examples per class? Does adding more object classes improve performance? For the same data budget, how should the data be split into classes? Is fine-grained recognition necessary for learning good features? Given the same number of training classes, is it better to have coarse classes or fine-grained classes? Which is better: more classes or more examples per class? To answer these and related questions, we pre-trained CNN features on various subsets of the ImageNet dataset and evaluated transfer performance on PASCAL detection, PASCAL action classification, and SUN scene classification tasks. Our overall findings suggest that most changes in the choice of pre-training data long thought to be critical do not significantly affect transfer performance.? Given the same number of training classes, is it better to have coarse classes or fine-grained classes? Which is better: more classes or more examples per class?

研究动机与目标

• 研究ImageNet预训练数据中的哪些方面最影响迁移学习性能。
• 定量评估每个类别的图像数量对迁移任务的影响。
• 定量评估预训练类别数量对迁移任务的影响。
• 评估细粒度与粗粒度预训练标签对迁移学习的重要性。
• 探讨在固定数据预算下更多类别与每类更多图像之间的权衡对迁移性能的影响。

提出的方法

• 在受控的ImageNet子集上以不同的每类图像数量和类别数量进行AlexNet风格的CNN预训练。
• 在三个迁移任务上微调这些预训练网络：PASCAL VOC 2007目标检测（PASCAL-DET）、PASCAL VOC 2012动作识别（PASCAL-ACT-CLS）和SUN-CLS场景分类。
• 系统性地改变基于WordNet的类别分类法，以为预训练创建粗粒度与细粒度标签集。
• 在微调后测量迁移性能（检测的mAP、动作识别的mAP，以及SUN的准确率）。
• 计算归纳精度以评估粗粒度训练的特征是否仍保留细粒度判别能力。

实验结果

研究问题

• RQ1 预训练数据量（每类图像数量）如何影响迁移学习性能？
• RQ2 预训练类别数量如何影响迁移学习性能？
• RQ3 细粒度识别对于学习可迁移的特征是否必要，还是粗粒度的预训练就足够？
• RQ4 从粗粒度类别学到的特征是否可以在未见数据上支持细粒度判别？
• RQ5 在固定数据预算下，是拥有更多类别还是每类更多样本更有利于迁移学习？

主要发现

• 将预训练数据减少到每类500张图像（从1000张）时，迁移性能下降很小（在PASCAL-DET上下降1.5 mAP），相比之下在ImageNet上的下降幅度更大。
• 使用约127个粗粒度类进行预训练，其迁移性能接近使用全部1000个ImageNet类别的结果，某些任务甚至有所提升。
• 细粒度（1000类）预训练并非良好迁移的严格必要条件；粗粒度预训练仍能产生强大的迁移特征。
• 粗分类训练可以诱导出对未见细粒度类别有显著区分能力的特征（诱导准确度约为满训练的15%以内）。
• 更多类别并不总是提高迁移性能；在某些情况下，使用更少且更粗的类别就能获得可比甚至更好的迁移结果；在与任务无关的情况下增加数据可能会降低性能。