[论文解读] Transfer Learning for Cross-Dataset Recognition: A Survey

Jing Zhang, Wanqing Li+1 more|arXiv (Cornell University)|May 11, 2017

Domain Adaptation and Few-Shot Learning被引用 31

一句话总结

本综述提出了一种面向17个跨数据集视觉识别挑战的问题导向分类法，根据数据和标签属性对迁移学习方法（包括浅层和深层）进行分类。它评估了每类问题的解决程度，揭示了研究不足的领域，并为从业者提供了一个系统框架，用于将现实世界的问题映射到合适的迁移学习解决方案。

ABSTRACT

This paper takes a problem-oriented perspective and presents a comprehensive review of transfer learning methods, both shallow and deep, for cross-dataset visual recognition. Specifically, it categorises the cross-dataset recognition into seventeen problems based on a set of carefully chosen data and label attributes. Such a problem-oriented taxonomy has allowed us to examine how different transfer learning approaches tackle each problem and how well each problem has been researched to date. The comprehensive problem-oriented review of the advances in transfer learning with respect to the problem has not only revealed the challenges in transfer learning for visual recognition, but also the problems (e.g. eight of the seventeen problems) that have been scarcely studied. This survey not only presents an up-to-date technical review for researchers, but also a systematic approach and a reference for a machine learning practitioner to categorise a real problem and to look up for a possible solution accordingly.

研究动机与目标

• 通过引入以问题为中心的分类法，填补迁移学习方法在跨数据集视觉识别中系统化组织的空白。
• 识别出在17类跨数据集识别问题中，哪些问题尚未获得足够的研究关注。
• 为研究人员和从业者提供一个结构化参考，用于将现实世界的问题映射到合适的迁移学习技术。
• 评估浅层和深层迁移学习方法在多样化跨数据集识别场景中的有效性。
• 突出迁移学习中的挑战，特别是在存在领域偏移、标签不匹配和数据分布差异的情境下。

提出的方法

• 本文根据领域偏移、标签空间差异和数据模态等数据和标签属性，将跨数据集视觉识别划分为17个不同的问题类别。
• 对浅层和深层迁移学习方法进行了全面综述，分析其在17类问题中的适用性。
• 该分类法基于精心挑选的一组属性构建，以确保有意义的区分性并覆盖真实世界场景。
• 通过系统分析，评估了每类问题的研究进展，并识别出现有文献中的研究空白。
• 提供了一个参考框架，将问题特征与合适的迁移学习技术相映射，使从业者能够选择合适的方法。

实验结果

研究问题

• RQ1 针对所识别出的17个跨数据集视觉识别问题，哪些迁移学习方法最为有效？
• RQ2 目前对17类问题的研究程度如何，哪些问题仍处于研究不足状态？
• RQ3 当数据和标签属性在不同数据集间变化时，应用迁移学习面临的主要挑战是什么？
• RQ4 浅层和深层迁移学习方法在解决跨数据集识别任务时的表现如何比较？
• RQ5 可采用哪些标准将一个现实世界的视觉识别问题映射到合适的迁移学习解决方案？

主要发现

• 在17个跨数据集识别问题中，有8个问题获得的研究关注极少，表明当前文献存在显著空白。
• 问题导向的分类法有助于更清晰地识别出最适合特定数据和标签属性组合的迁移学习方法。
• 深层迁移学习方法在复杂领域偏移场景下表现更强，但其有效性在不同问题类型间差异显著。
• 在简单场景或数据稀缺场景中，浅层迁移学习方法依然具有相关性，尤其是在标签空间不匹配较小时。
• 综述发现，当前研究高度集中于某些问题类型，如共享标签的领域自适应，而零样本或少样本跨数据集识别等问题则研究不足。
• 所提出的分类法可作为从业者根据问题特定属性选择迁移学习技术的实用参考。