[论文解读] Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning

Xiangyu Li, Xu Yang+3 more|arXiv (Cornell University)|Jun 29, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种用于组合零样本学习（CZSL）的孪生对比嵌入网络（SCEN），通过在独立的嵌入空间中使用对比学习，分别学习状态和对象的判别性原型，同时引入状态转移模块（STM）生成合成训练样本以减少域偏移。SCEN在三个基准数据集上取得了最先进性能，包括近期的C-GQA数据集。

ABSTRACT

Compositional Zero-Shot Learning (CZSL) aims to recognize unseen compositions formed from seen state and object during training. Since the same state may be various in the visual appearance while entangled with different objects, CZSL is still a challenging task. Some methods recognize state and object with two trained classifiers, ignoring the impact of the interaction between object and state; the other methods try to learn the joint representation of the state-object compositions, leading to the domain gap between seen and unseen composition sets. In this paper, we propose a novel Siamese Contrastive Embedding Network (SCEN) (Code: https://github.com/XDUxyLi/SCEN-master) for unseen composition recognition. Considering the entanglement between state and object, we embed the visual feature into a Siamese Contrastive Space to capture prototypes of them separately, alleviating the interaction between state and object. In addition, we design a State Transition Module (STM) to increase the diversity of training compositions, improving the robustness of the recognition model. Extensive experiments indicate that our method significantly outperforms the state-of-the-art approaches on three challenging benchmark datasets, including the recent proposed C-QGA dataset.

研究动机与目标

• 为解决在零样本学习中识别由已见状态和对象组合而成的未见组合的挑战。
• 缓解状态与对象特征之间的纠缠，以改善对新组合的泛化能力。
• 通过数据增强减少已见与未见组合集合之间的域差距。
• 通过学习解耦的、判别性强的状态与对象原型，提升模型的鲁棒性与泛化能力。
• 在具有挑战性的CZSL基准数据集（包括C-GQA）上超越现有方法。

提出的方法

• 模型使用两个独立的编码器——状态专用编码器 $E_s$ 和对象专用编码器 $E_o$——将视觉特征映射到状态和对象专用的对比空间中。
• 引入状态恒定数据库和对象恒定数据库作为正样本，以及一个共享的无关数据库作为负样本，以训练对比原型。
• 应用孪生对比损失 ($\mathcal{L}_{cts}$)，确保相同状态或对象的原型被拉近，而与无关样本则被推开。
• 通过对抗损失，状态转移模块（STM）生成虚拟且逼真的组合，提升训练数据的多样性并减少域偏移。
• STM通过在训练过程中让模型接触合理但未见过的状态-对象组合，增强泛化能力。
• 最终模型在学习到的原型上使用线性Softmax分类器，对已见和未见组合集进行预测。

实验结果

研究问题

• RQ1 对状态与对象学习解耦的原型是否能提升组合学习中的零样本泛化能力？
• RQ2 对比学习在从纠缠的视觉特征中分离状态与对象表征方面有多有效？
• RQ3 通过状态转移模块生成合成数据是否能减少已见与未见组合之间的域差距？
• RQ4 对比学习与数据增强的结合是否能在多种基准上带来一致的性能提升？
• RQ5 该模型对超参数的敏感程度如何？何种最优设置能实现最佳泛化？

主要发现

• SCEN在MIT-States、UT-Zappos和C-GQA数据集上均取得了最先进性能，优于现有方法。
• 消融实验表明，$\mathcal{L}_{cts}$ 和 $\mathcal{L}_{stm}$ 均至关重要，其中 $\mathcal{L}_{cts}$ 提升了原型学习效果，而 $\mathcal{L}_{stm}$ 有效减少了域偏移。
• 在C-GQA数据集上，模型实现了最佳的调和平均数（HM）与AUC得分，表明其在复杂真实组合上的鲁棒性。
• 最优超参数设置（在C-GQA和UT-Zappos上为 $\beta = 0.1$，在MIT-States上为 $\beta = 0.5$）被确定为能平衡STM损失的贡献。
• 定性结果表明，模型在前3名预测中能正确预测未见组合，显示出强大的泛化能力。
• 即使标签不完整，模型在捕捉部分属性（如年龄或纹理）方面也表现出更强的鲁棒性，表明其具有更好的特征解耦能力。