[论文解读] TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning

Shiming Chen, Ziming Hong+7 more|arXiv (Cornell University)|Dec 16, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

TransZero++ 提出了一种跨属性引导的 Transformer 网络用于零样本学习，通过双分支子网络——属性到视觉（AVT）和视觉到属性（VAT）——利用语义协同学习方法学习语义增强的视觉表征。该方法在三个标准 ZSL 基准数据集和 ImageNet 上均取得了最先进性能，通过优化属性定位并增强视觉-语义交互实现性能提升。

ABSTRACT

Zero-shot learning (ZSL) tackles the novel class recognition problem by transferring semantic knowledge from seen classes to unseen ones. Existing attention-based models have struggled to learn inferior region features in a single image by solely using unidirectional attention, which ignore the transferability and discriminative attribute localization of visual features. In this paper, we propose a cross attribute-guided Transformer network, termed TransZero++, to refine visual features and learn accurate attribute localization for semantic-augmented visual embedding representations in ZSL. TransZero++ consists of an attribute$ ightarrow$visual Transformer sub-net (AVT) and a visual$ ightarrow$attribute Transformer sub-net (VAT). Specifically, AVT first takes a feature augmentation encoder to alleviate the cross-dataset problem, and improves the transferability of visual features by reducing the entangled relative geometry relationships among region features. Then, an attribute$ ightarrow$visual decoder is employed to localize the image regions most relevant to each attribute in a given image for attribute-based visual feature representations. Analogously, VAT uses the similar feature augmentation encoder to refine the visual features, which are further applied in visual$ ightarrow$attribute decoder to learn visual-based attribute features. By further introducing semantical collaborative losses, the two attribute-guided transformers teach each other to learn semantic-augmented visual embeddings via semantical collaborative learning. Extensive experiments show that TransZero++ achieves the new state-of-the-art results on three challenging ZSL benchmarks. The codes are available at: \url{https://github.com/shiming-chen/TransZero_pp}.

研究动机与目标

• 解决现有基于注意力机制的 ZSL 模型在学习可迁移且判别性强的区域特征时，因单向注意力机制导致的局限性。
• 通过显式定位物体属性作为关键语义知识以实现知识迁移，从而改善视觉-语义交互。
• 通过 AVT 与 VAT 两个 Transformer 之间的协同学习，学习鲁棒的、语义增强的视觉表征，以克服广义 ZSL 中的偏差问题。
• 通过融合基于属性的表示与基于视觉的表示，并结合类别语义向量，实现从已见类别到未见类别的有效知识迁移。

提出的方法

• 提出一种双分支 Transformer 架构：一个属性到视觉 Transformer（AVT）和一个视觉到属性 Transformer（VAT），每个分支均配备专用的编码器与解码器。
• 在 AVT 和 VAT 中引入特征增强编码器，以提升视觉特征的判别性并减少区域关系的纠缠。
• 在 AVT 中使用属性到视觉解码器，在 VAT 中使用视觉到属性解码器，以学习局部化的属性表征与视觉特征。
• 应用特征级与预测级的语义协同损失，实现 AVT 与 VAT 之间的相互知识蒸馏，从而获得语义增强的视觉表征。
• 通过可学习的组合系数 α 融合 AVT 与 VAT 的语义增强表征，以平衡互补信息。
• 在归纳 ZSL 设定下，将最终融合的表征与类别语义向量结合，用于零样本分类。

实验结果

研究问题

• RQ1 属性与视觉特征之间的交叉注意力机制是否能改善属性定位并增强 ZSL 中的判别性特征学习？
• RQ2 两个互补的 Transformer（AVT 与 VAT）之间的语义协同学习如何提升视觉-语义表征的鲁棒性与可迁移性？
• RQ3 基于属性与基于视觉的表征融合在多大程度上提升了标准基准上的零样本分类准确率？
• RQ4 模型性能对超参数（如组合系数 α 和损失权重）的敏感程度如何？哪些最优设置能获得最佳结果？

主要发现

• TransZero++ 在 CUB、SUN 和 AWA2 基准上均取得了新的最先进性能，零样本分类准确率显著提升。
• 在广义 ZSL 设定下，模型在 CUB 数据集上达到 78.6% 的 top-1 准确率，在 SUN 数据集上达到 61.8%，优于先前方法。
• 大量消融实验表明，CUB 上 α = 0.9、SUN 上 α = 0.6 时性能最优，表明 AVT 贡献更强。
• 模型对 λf_SCL 和 λp_SCL 的小值相对不敏感，但当 λAR 和 λSC 过高时性能急剧下降，表明二者在优化过程中起关键作用。
• 在 AVT 与 VAT 中均使用小型 Transformer 架构（1 层，1 头）可获得更好的泛化性能，可能归因于在中等规模 ZSL 数据集上减少了过拟合。
• 语义协同学习机制有效增强了视觉-语义对齐，表现为特征解缠与属性定位的改善。