[论文解读] TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search

Yawen Duan, Xin Chen+5 more|arXiv (Cornell University)|May 25, 2021

Advanced Neural Network Applications参考文献 34被引用 4

一句话总结

TransNAS-Bench-101 提供了一个全面的跨任务神经架构搜索（NAS）基准，评估了在两个搜索空间（单元级和宏观级）上七个多样化视觉任务（包括分类、分割、自编码和自监督学习）中的7,352个神经架构。其主要贡献是一个大规模、完全训练好的数据集，包含性能、FLOPs和推理时间等信息，支持对NAS中迁移能力和泛化能力的稳健评估，其中REA-迁移方法表现最佳，在宏观级搜索空间上达到99.11百分位数的性能。

ABSTRACT

Recent breakthroughs of Neural Architecture Search (NAS) extend the field's research scope towards a broader range of vision tasks and more diversified search spaces. While existing NAS methods mostly design architectures on a single task, algorithms that look beyond single-task search are surging to pursue a more efficient and universal solution across various tasks. Many of them leverage transfer learning and seek to preserve, reuse, and refine network design knowledge to achieve higher efficiency in future tasks. However, the enormous computational cost and experiment complexity of cross-task NAS are imposing barriers for valuable research in this direction. Existing NAS benchmarks all focus on one type of vision task, i.e., classification. In this work, we propose TransNAS-Bench-101, a benchmark dataset containing network performance across seven tasks, covering classification, regression, pixel-level prediction, and self-supervised tasks. This diversity provides opportunities to transfer NAS methods among tasks and allows for more complex transfer schemes to evolve. We explore two fundamentally different types of search space: cell-level search space and macro-level search space. With 7,352 backbones evaluated on seven tasks, 51,464 trained models with detailed training information are provided. With TransNAS-Bench-101, we hope to encourage the advent of exceptional NAS algorithms that raise cross-task search efficiency and generalizability to the next level. Our dataset file will be available at Mindspore, VEGA.

研究动机与目标

• 为解决现有基准在图像分类之外的跨任务神经架构搜索支持不足的问题。
• 通过提供涵盖多样化视觉任务的大规模、完全训练好的数据集，降低研究可迁移性和泛化性NAS的计算门槛。
• 在多个任务和搜索空间中评估并比较NAS中的迁移学习策略，特别是策略迁移和架构迁移。
• 识别可迁移NAS中的关键挑战，如负迁移和任务漂移敏感性，并为未来算法设计提供可操作的见解。
• 推动开发更高效、更鲁棒且更具泛化能力的NAS算法，使其在多样化任务和搜索空间中均表现优异。

提出的方法

• 设计两种不同的搜索空间：一种是每个单元为可微有向无环图（DAG）的单元级搜索空间，另一种是支持灵活网络深度和模块操作配置的宏观级搜索空间。
• 在七个多样化视觉任务上训练并评估7,352个神经架构主干网络：物体分类、场景分类、语义分割、自编码、房间布局预测、表面法线估计和拼图求解。
• 为每个模型提供详细的诊断信息，包括准确率、FLOPs、推理时间及训练日志，以支持可复现性和深入分析。
• 实现并评估四种迁移方案：直接架构迁移、直接策略迁移（PPO）、CATCH（一种包含编码器和评估器组件的策略迁移方法），以及基于进化算法的迁移（REA），并采用预训练种群初始化。
• 在所有任务和搜索空间中采用一致的实验协议，以确保公平比较并可靠评估迁移学习性能。
• 总共使用193,760 GPU小时（相当于单张V100显卡上约22.12年的计算量）对所有模型进行预训练和评估，显著降低了未来研究的计算负担。

Figure 1: Our cell-level and macro-level search space in TransNAS-Bench-101. We design a cell-level search space that treats each cell as a DAG and a macro-level search space that allows flexible macro skeleton network design.

实验结果

研究问题

• RQ1 当在包括分类、回归和自监督学习在内的多样化视觉任务之间迁移知识时，NAS算法的性能如何变化？
• RQ2 不同迁移策略（如直接架构迁移、策略迁移和基于进化算法的初始化）在跨任务NAS中在泛化能力和效率方面的提升程度如何？
• RQ3 在不同任务中，单元级和宏观级搜索空间在可迁移性和性能鲁棒性方面有何差异？
• RQ4 在任务特征显著不同的情况下，如何保持NAS策略或架构迁移时的一致性能？
• RQ5 在迁移方法中增加的组件（如CATCH中的任务编码器和评估器）是否能有效缓解负迁移并提升鲁棒性？

主要发现

• 将源任务的架构直接迁移到目标任务的性能显著低于随机搜索，表明存在较高的负迁移风险。
• 直接策略迁移（如PPO）优于直接架构迁移，但仍受负迁移影响，尤其在源任务与目标任务差异较大时更为明显。
• CATCH通过引入任务编码器和候选评估器，在宏观级搜索空间的物体分类任务上提升了迁移性能，但在其他任务（如单元级空间中的房间布局预测）上表现不佳。
• 基于进化算法的迁移（REA）采用预训练种群初始化，在所有任务中均达到最高平均性能，分别在单元级和宏观级搜索空间中达到99.02百分位数和99.11百分位数。
• 该基准揭示，对于某些任务，网络宏观结构设计对性能的影响大于单元级设计，表明NAS研究应超越基于单元的搜索空间。
• NAS的泛化能力仍有显著提升空间，因为没有单一方法在所有任务和搜索空间中始终优于其他方法，凸显了对更自适应、更鲁棒的迁移机制的迫切需求。

Figure 2: Vision tasks considered in our benchmarks. We carefully select those 7 tasks above to ensure both diversity and similarity across tasks from Taskonomy [ 35 ] .