[论文解读] Scalable Diverse Model Selection for Accessible Transfer Learning

Daniel Bolya, Rohit Mittapalli+1 more|arXiv (Cornell University)|Nov 12, 2021

Topic Modeling被引用 6

一句话总结

本文提出可扩展的多样化模型选择（Scalable Diverse Model Selection）框架，旨在高效地从大规模、多样化的预训练模型库中选择最适合迁移学习的模型。该方法提出PARC，一种利用特征统计与可学习适配器来预测微调性能的方法，具有高精度和低推理成本，在基准数据集上的皮尔逊相关系数最高提升2.5%，优于现有方法。

ABSTRACT

With the preponderance of pretrained deep learning models available off-the-shelf from model banks today, finding the best weights to fine-tune to your use-case can be a daunting task. Several methods have recently been proposed to find good models for transfer learning, but they either don't scale well to large model banks or don't perform well on the diversity of off-the-shelf models. Ideally the question we want to answer is, "given some data and a source model, can you quickly predict the model's accuracy after fine-tuning?" In this paper, we formalize this setting as "Scalable Diverse Model Selection" and propose several benchmarks for evaluating on this task. We find that existing model selection and transferability estimation methods perform poorly here and analyze why this is the case. We then introduce simple techniques to improve the performance and speed of these algorithms. Finally, we iterate on existing methods to create PARC, which outperforms all other methods on diverse model selection. We have released the benchmarks and method code in hope to inspire future work in model selection for accessible transfer learning.

研究动机与目标

• 解决从大规模、多样化现成模型库中选择最佳预训练模型用于迁移学习的挑战。
• 将可扩展多样化模型选择问题形式化为一项独立的基准测试与评估任务。
• 识别现有迁移能力估计与模型选择方法在应用于多样化、大规模模型库时的不足之处。
• 开发并评估一种新方法PARC，以提升多样化模型选择的性能与可扩展性。
• 发布标准化基准与代码，以支持可复现的评估，并推动可访问迁移学习的未来研究。

提出的方法

• 定义一个受控基准，包含168个真实微调迁移任务，覆盖8个源数据集、6个目标数据集和4种模型架构，用于评估模型选择方法。
• 引入基于特征的代理任务，利用源模型的归一化特征预测下游性能，而无需完整微调。
• 提出一个可学习适配器模块（PARC），将源模型特征与特定任务的投影头结合，以预测迁移能力。
• 应用一种简单启发式方法对模型间的特征统计进行归一化，提升在多样化架构与预训练数据上的泛化能力。
• 将PARC扩展至目标检测任务，通过将边界框标注聚合为像素级向量来表示标签。
• 使用预测得分与实际微调mAP之间的皮尔逊相关系数作为所有基准上的主要评估指标。

实验结果

研究问题

• RQ1 当扩展到包含多样化架构与预训练数据的大规模、多样化模型库时，现有迁移能力估计与模型选择方法的表现如何？
• RQ2 当前方法在多样化模型选择中的关键失败模式是什么？哪些架构或统计因素导致其泛化能力差？
• RQ3 能否设计一种轻量级、可扩展的方法，在无需针对任务微调或在目标数据上额外训练的情况下，实现对多样化模型的泛化？
• RQ4 通过归一化特征统计与在预测头中引入可学习适配器，性能能提升多少？
• RQ5 所提出方法是否能泛化到图像分类以外的任务，如目标检测？

主要发现

• 现有最先进迁移能力估计与模型选择方法在所提出的多样化模型选择基准上，表现甚至不如1-NN等简单基线方法，平均皮尔逊相关系数仅为51.35%。
• PARC在主基准上实现了52.04%的平均皮尔逊相关系数，显著优于所有其他方法（包括RSA与DDS），且差异具有统计显著性。
• 在包含65个源模型与423次迁移的更大、更复杂的基准上，PARC仍保持52.04%的相关系数，表明其对模型多样性的强鲁棒性。
• 在目标检测任务中，PARC在VOC2007数据集上与mAP的相关系数达到92.20%，优于1-NN（89.67%），并接近需要在目标任务上额外训练的RSA与DDS方法。
• PARC中引入的特征归一化与可学习适配器显著提升了在多样化模型上的泛化能力，尤其在架构与预训练数据差异显著时效果更明显。
• 即使在最具挑战性的场景——由众包收集、高度多样的模型中，PARC仍达到52.04%的相关系数，证明其在真实世界场景中的可扩展性与实际应用价值。