[论文解读] SHiFT: An Efficient, Flexible Search Engine for Transfer Learning

Cédric Renggli, Xiaozhe Yao+4 more|arXiv (Cornell University)|Apr 4, 2022

Machine Learning and Algorithms被引用 2

一句话总结

SHiFT 是一种新颖的下游任务感知的迁移学习搜索引擎，通过自定义查询语言 SHiFT-QL 实现高效灵活的模型选择。它利用基于成本的优化和增量查询执行加速搜索，在保持多种迁移学习任务高精度的同时，显著提升了基线重新执行的效率。

ABSTRACT

Transfer learning can be seen as a data- and compute-efficient alternative to training models from scratch. The emergence of rich model repositories, such as TensorFlow Hub, enables practitioners and researchers to unleash the potential of these models across a wide range of downstream tasks. As these repositories keep growing exponentially, efficiently selecting a good model for the task at hand becomes paramount. By carefully comparing various selection and search strategies, we realize that no single method outperforms the others, and hybrid or mixed strategies can be beneficial. Therefore, we propose SHiFT, the first downstream task-aware, flexible, and efficient model search engine for transfer learning. These properties are enabled by a custom query language SHiFT-QL together with a cost-based decision maker, which we empirically validate. Motivated by the iterative nature of machine learning development, we further support efficient incremental executions of our queries, which requires a careful implementation when jointly used with our optimizations.

研究动机与目标

• 为应对从 HuggingFace、TF-Hub 和 PyTorch Hub 等大规模异构存储库中选择最优预训练模型的日益增长的挑战。
• 通过支持任务特定、可自定义的模型搜索标准，克服单一策略适用所有场景的局限性。
• 通过引入基于成本的查询优化器和增量执行支持，减轻模型搜索的计算负担。
• 提供一个统一且可扩展的框架，支持在迁移学习中快速基准测试和比较新型搜索策略。
• 将模型搜索的责任从单个用户转移到集中式数据管理系统，提升可用性和效率。

提出的方法

• 提出 SHiFT-QL，一种领域特定查询语言，允许用户使用线性分类器准确率、最近邻准确率和上游性能等指标，定义复杂且可自定义的模型搜索策略。
• 采用基于成本的查询优化器，为 SHiFT-QL 查询选择最高效的执行计划，最大限度减少冗余计算。
• 通过缓存中间结果支持增量查询执行，实现在数据或模型发生变化时的高效更新。
• 使用变更读取器和新增读取器，高效处理数据集修改，避免完整重新执行，尤其在仅少量数据或模型更新时优势显著。
• 实现基准测试模块，用于在 19 个 VTAB-1K 数据集和 250 多个 HuggingFace 变压器模型上评估和比较搜索策略。
• 支持分布感知的数据处理，防止在增量数据加载过程中因分布偏移导致的模型排名下降。

实验结果

研究问题

• RQ1 如何设计一种迁移学习搜索引擎，使其在多样化下游任务中兼具灵活性和高效性？
• RQ2 在大规模预训练模型仓库中，哪种查询语言和优化技术最有效于加速模型搜索？
• RQ3 当数据集或模型池演化时，增量查询执行在多大程度上能减少重新计算开销？
• RQ4 与简单的重新执行相比，基于成本的优化与缓存机制在性能提升方面表现如何？
• RQ5 统一系统是否能够支持新兴搜索策略在迁移学习中的快速评估与比较？

主要发现

• SHiFT 通过基于成本的优化显著提升了查询执行速度，减少了多样化搜索策略中的冗余计算。
• SHiFT 中的增量执行显著降低了重新计算成本，尤其在仅少量数据或模型被修改时效果突出。
• 更改标签的开销远低于完整重新执行，因为代理计算的成本远低于完整推理。
• 系统通过在增量更新期间智能地在读取器间分配数据分布，有效防止了因分布偏移导致的模型排名下降。
• 基准测试模块表明，SHiFT 能够在 19 个 VTAB-1K 数据集和 250 多个 HuggingFace 模型上实现可靠的大规模搜索策略评估。
• SHiFT 的设计支持新型搜索策略的系统性比较与部署，显著减轻了研究人员和实践者的负担。