[论文解读] TVT: Training-Free Vision Transformer Search on Tiny Datasets

Zimian Wei, Hengyue Pan+5 more|arXiv (Cornell University)|Nov 24, 2023

Advanced Neural Network Applications被引用 6

一句话总结

TVT 提出了一种无需训练的视觉Transformer架构搜索框架，专为小样本数据集上的知识蒸馏而设计，通过基于注意力图相似性的教师感知度量和使用L2归一化权重的学生能力度量，将教师指导整合到零样本代理评估中，无需任何训练，实现了最先进的等级一致性与蒸馏准确率。

ABSTRACT

Training-free Vision Transformer (ViT) architecture search is presented to search for a better ViT with zero-cost proxies. While ViTs achieve significant distillation gains from CNN teacher models on small datasets, the current zero-cost proxies in ViTs do not generalize well to the distillation training paradigm according to our experimental observations. In this paper, for the first time, we investigate how to search in a training-free manner with the help of teacher models and devise an effective Training-free ViT (TVT) search framework. Firstly, we observe that the similarity of attention maps between ViT and ConvNet teachers affects distill accuracy notably. Thus, we present a teacher-aware metric conditioned on the feature attention relations between teacher and student. Additionally, TVT employs the L2-Norm of the student's weights as the student-capability metric to improve ranking consistency. Finally, TVT searches for the best ViT for distilling with ConvNet teachers via our teacher-aware metric and student-capability metric, resulting in impressive gains in efficiency and effectiveness. Extensive experiments on various tiny datasets and search spaces show that our TVT outperforms state-of-the-art training-free search methods. The code will be released.

研究动机与目标

• 解决现有零样本代理在小样本数据集上视觉Transformer知识蒸馏场景中泛化能力差的问题。
• 克服当前无需训练的NAS方法在搜索过程中未能有效利用教师模型信息的局限性。
• 设计一种结合教师-学生特征对齐与学生模型容量的零样本代理，以提升搜索效率。
• 实现高效、无需训练的ViT架构搜索，使在极小计算成本下于小样本数据集上实现高蒸馏准确率成为可能。

提出的方法

• 提出一种新型零样本代理，由两部分组成：教师感知度量（$\mathcal{M}_t$）与学生能力度量（$\mathcal{M}_s$）。
• $\mathcal{M}_t$ 计算学生ViT与卷积神经网络教师模型的空间注意力图之间的L2距离，以衡量特征表示的相似性。
• $\mathcal{M}_s$ 使用学生模型权重的L2范数来估计其表征能力。
• 通过可学习权重 $\alpha$ 与 $\beta$ 将 $\mathcal{M}_t$ 与 $\mathcal{M}_s$ 组合为复合得分，以平衡教师指导与学生能力。
• 通过仅在初始化时进行一次前向传播，基于复合TVT代理得分对候选ViT进行排序，完成架构搜索。
• 应用基于局部性的知识蒸馏，并引入logit激活，以预定义的卷积神经网络教师模型对搜索到的ViT进行微调。

实验结果

研究问题

• RQ1 为何现有零样本代理在小样本数据集上视觉Transformer的知识蒸馏场景中泛化能力较差？
• RQ2 如何有效将教师模型信息整合到无需训练的架构搜索中，以提升蒸馏性能？
• RQ3 学生模型容量在决定蒸馏准确率中起什么作用？如何在不训练的情况下对其进行量化？
• RQ4 结合教师-学生注意力对齐与学生权重幅值的混合代理，能否提升等级一致性与搜索准确率？

主要发现

• 在CIFAR-100数据集上，TVT实现了最高的肯德尔等级相关系数（0.76），在Flowers数据集上达到0.84，显著优于NWOT（0.46和0.57）与DSS（0.74和0.72）。
• 在Chaoyang数据集上，TVT实现了85.83%的蒸馏准确率，超过DSS（85.13%）与NWOT（85.13%），证明了其优越的搜索有效性。
• 消融实验表明，基于注意力图的 $\mathcal{M}_t$ 表现最佳（肯德尔相关系数0.46），优于MMD与样本关系方法。
• 最优超参数 $\alpha = 2$，$\beta = -3$ 获得最高的等级一致性（肯德尔相关系数0.67），表明平衡教师与学生信号的重要性。
• TVT相较原始ViT将蒸馏准确率提升了最高达10%，证实了使用搜索架构进行知识蒸馏的有效性。
• TVT通过每次候选模型仅需一次前向传播，避免了任何训练或超网络计算，保持了高度效率。