[论文解读] Representation Similarity Analysis for Efficient Task taxonomy & Transfer Learning

Kshitij Dwivedi, Gemma Roig|arXiv (Cornell University)|Apr 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用 18

一句话总结

本文提出一种表示相似性分析（RSA）方法，通过仅使用少量图像且无需进一步训练，计算预训练模型之间表示的基于相关性的相似性得分，以高效地对迁移学习中的预训练模型进行排序。其主要贡献在于：RSA相似性与迁移学习性能具有强预测能力——在Taskonomy和Pascal VOC数据集上均得到验证，其中RSA得分更高的模型在领域偏移场景下优于同一任务训练的模型。

ABSTRACT

Transfer learning is widely used in deep neural network models when there are few labeled examples available. The common approach is to take a pre-trained network in a similar task and finetune the model parameters. This is usually done blindly without a pre-selection from a set of pre-trained models, or by finetuning a set of models trained on different tasks and selecting the best performing one by cross-validation. We address this problem by proposing an approach to assess the relationship between visual tasks and their task-specific models. Our method uses Representation Similarity Analysis (RSA), which is commonly used to find a correlation between neuronal responses from brain data and models. With RSA we obtain a similarity score among tasks by computing correlations between models trained on different tasks. Our method is efficient as it requires only pre-trained models, and a few images with no further training. We demonstrate the effectiveness and efficiency of our method for generating task taxonomy on Taskonomy dataset. We next evaluate the relationship of RSA with the transfer learning performance on Taskonomy tasks and a new task: Pascal VOC semantic segmentation. Our results reveal that models trained on tasks with higher similarity score show higher transfer learning performance. Surprisingly, the best transfer learning result for Pascal VOC semantic segmentation is not obtained from the pre-trained model on semantic segmentation, probably due to the domain differences, and our method successfully selects the high performing models.

研究动机与目标

• 为解决在无昂贵微调的情况下选择最优预训练模型进行迁移学习的挑战。
• 开发一种高效方法，仅使用预训练模型和少量图像，估计视觉任务之间的关系。
• 证明通过RSA测量的表示相似性与下游迁移学习性能具有强相关性。
• 表明即使在相同任务上训练的模型也可能因领域偏移而无法实现最佳泛化，而RSA可识别出更优的替代方案。

提出的方法

• 使用表示相似性分析（RSA）计算预训练模型深层神经网络表示之间的基于相关性的相似性得分。
• 仅使用每个任务中随机选取的少量图像计算相似性得分，避免任何微调或额外训练。
• 将RSA应用于比较来自Taskonomy数据集的多种视觉任务（如分类、分割、深度估计）训练的模型的表示。
• 使用在Pascal VOC上训练的小型轻量级模型作为参考，计算其与Taskonomy模型的相似性得分。
• 基于模型与参考模型的RSA相似性得分对模型进行排序，从而实现迁移学习中高效模型选择。
• 在消融研究中验证该方法在不同模型规模、图像数量和训练阶段下的鲁棒性。

实验结果

研究问题

• RQ1 RSA是否可在无需微调的情况下高效估计视觉任务之间的相似性？
• RQ2 RSA相似性是否与下游迁移学习性能相关？
• RQ3 相似性排序是否对模型规模、图像数量和训练阶段的变化具有鲁棒性？
• RQ4 在领域偏移场景下，RSA是否能识别出优于同任务模型的预训练模型？
• RQ5 该方法是否在计算效率上优于现有方法（如Taskonomy），同时保持预测准确性？

主要发现

• 在17个Taskonomy任务中的16个任务中，RSA选出的模型在实际迁移学习性能中位列前五。
• 在17个Taskonomy任务中，RSA相似性得分与迁移学习性能之间存在强相关性（ρ = 0.70，rs = 0.76）。
• 在Pascal VOC语义分割任务中，RSA相似性得分更高的模型取得了更好的mIoU分数，其中表现最佳的模型（场景分类）达到0.6529的mIoU。
• Taskonomy中的语义分割模型的RSA得分低于大多数3D和语义任务，且表现出较低的迁移性能，表明存在领域偏移效应。
• 使用高RSA得分任务（如物体类别、场景类别）初始化的模型在某些情况下甚至优于ImageNet预训练模型，mIoU达到0.6529，而随机初始化的模型为0.6083。
• 该方法对模型规模和训练数据量具有鲁棒性，小型模型在少量图像下产生的相似性排序与大型全训练模型结果相似。