[论文解读] Recent Advances in Transfer Learning for Cross-Dataset Visual Recognition: A Problem-Oriented Perspective

Jing Zhang, Wanqing Li+2 more|arXiv (Cornell University)|May 11, 2017

Domain Adaptation and Few-Shot Learning参考文献 281被引用 20

一句话总结

本文基于数据和标签属性，提出了一种面向17个跨数据集视觉识别挑战的问题导向分类法，系统回顾了每类挑战的浅层与深层迁移学习方法。该研究识别出八个尚未充分探索的问题，为从业者提供了结构化的参考，以匹配现实世界任务与合适的迁移学习解决方案，同时评估数据集适用性，并指明迁移学习未来的研究方向。

ABSTRACT

This paper takes a problem-oriented perspective and presents a comprehensive review of transfer learning methods, both shallow and deep, for cross-dataset visual recognition. Specifically, it categorises the cross-dataset recognition into seventeen problems based on a set of carefully chosen data and label attributes. Such a problem-oriented taxonomy has allowed us to examine how different transfer learning approaches tackle each problem and how well each problem has been researched to date. The comprehensive problem-oriented review of the advances in transfer learning with respect to the problem has not only revealed the challenges in transfer learning for visual recognition, but also the problems (e.g. eight of the seventeen problems) that have been scarcely studied. This survey not only presents an up-to-date technical review for researchers, but also a systematic approach and a reference for a machine learning practitioner to categorise a real problem and to look up for a possible solution accordingly.

研究动机与目标

• 为解决现有综述论文多以方法为导向而非以问题为导向的不足，提出一种系统化、问题导向的跨数据集视觉识别分类法。
• 基于数据和标签属性，将跨数据集视觉识别划分为17个独立问题，以支持现实应用中的针对性方法选择。
• 评估广泛使用的数据集在17个问题中的适用性，揭示当前基准测试实践中的局限性。
• 揭示尚未充分研究的挑战——特别是17个问题中的8个——这些方向此前研究甚少，为未来研究提供指引。
• 为研究人员和从业者提供一个实用、可直接参考的框架，用于将现实世界问题映射到合适的迁移学习技术。

提出的方法

• 本文定义了一组数据和标签属性（如领域偏移、标签空间异质性、数据模态差异），以系统化方式将跨数据集视觉识别划分为17个独立问题。
• 将这17个问题组织为四种场景：同质特征与标签空间、异质特征空间、异质标签空间，以及异质特征与标签空间。
• 针对每个问题，本文回顾并分析了现有的浅层与深层迁移学习方法，包括领域自适应、领域泛化和零样本学习技术。
• 评估主要基准数据集（如ImageNet、COCO、WebVision）在评估17个问题中各类算法时的适用性，突出数据规模、模态和标签结构之间的不匹配。
• 该方法包括基于既有文献的形式化定义与任务导向分类，对不同方法如何应对每个问题进行对比分析。
• 该框架使从业者能够将现实世界问题映射到特定问题类别，并从文献中识别出候选解决方案。

实验结果

研究问题

• RQ1 在跨数据集视觉识别的17类问题中，哪些迁移学习方法最为有效？
• RQ2 这17个已识别问题中，哪些问题研究较为充分，哪些仍属研究不足？
• RQ3 当前基准数据集在多大程度上支持对跨数据集视觉识别全谱问题的评估？
• RQ4 从业者如何利用此分类法系统性地将现实世界的视觉识别任务映射到合适的迁移学习解决方案？
• RQ5 在视觉识别的迁移学习中，特别是针对未充分探索的问题，其主要挑战和未来研究方向是什么？

主要发现

• 在识别出的17个跨数据集视觉识别问题中，有八个问题研究关注度极低，表明当前文献存在显著空白。
• 本文揭示，现有综述论文常忽略涉及异质标签空间、跨模态识别和弱标签数据的问题，尽管这些在实际应用中具有重要意义。
• 许多广泛使用数据集（如ImageNet和COCO）并不适合评估在线或持续迁移学习，因其缺乏动态或序列化数据设置。
• 跨模态迁移学习（如从RGB图像到深度图像）仍发展不足，尽管其在降低数据收集与标注成本方面具有实际价值。
• 问题导向分类法使从业者能够高效地将现实世界任务映射到合适的迁移学习方法，提升解决方案选择效率，减少试错实验。
• 该综述指出，目前缺乏适合评估多样化迁移学习问题（尤其在在线与持续学习场景）的大规模、多功能数据集，限制了算法评估与进步。