[论文解读] Semantics Disentangling for Generalized Zero-Shot Learning

Zhi Chen, Yadan Luo+5 more|arXiv (Cornell University)|Jan 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用 10

一句话总结

本文提出SDGZSL，一种语义解耦框架，通过使用带有关系模块和总相关性惩罚的条件变分自编码器（cVAE），将视觉特征分离为语义一致和语义无关的组成部分。通过将特征解耦以与标注属性对齐，该方法提升了广义零样本学习中的泛化能力，在四个基准数据集上实现了最先进性能。

ABSTRACT

Generalized zero-shot learning (GZSL) aims to classify samples under the assumption that some classes are not observable during training. To bridge the gap between the seen and unseen classes, most GZSL methods attempt to associate the visual features of seen classes with attributes or to generate unseen samples directly. Nevertheless, the visual features used in the prior approaches do not necessarily encode semantically related information that the shared attributes refer to, which degrades the model generalization to unseen classes. To address this issue, in this paper, we propose a novel semantics disentangling framework for the generalized zero-shot learning task (SDGZSL), where the visual features of unseen classes are firstly estimated by a conditional VAE and then factorized into semantic-consistent and semantic-unrelated latent vectors. In particular, a total correlation penalty is applied to guarantee the independence between the two factorized representations, and the semantic consistency of which is measured by the derived relation network. Extensive experiments conducted on four GZSL benchmark datasets have evidenced that the semantic-consistent features disentangled by the proposed SDGZSL are more generalizable in tasks of canonical and generalized zero-shot learning. Our source code is available at https://github.com/uqzhichen/SDGZSL.

研究动机与目标

• 为解决由于视觉特征与标注属性在语义上不一致而导致的零样本学习模型泛化能力差的问题。
• 将视觉特征解耦为语义一致和语义无关的组成部分，以增强与属性的对齐性，并提升对未见类别的迁移能力。
• 开发一种利用解耦表征的框架，以在广义零样本学习（GZSL）中实现优于使用预训练CNN生成的纠缠特征的性能。

提出的方法

• 使用条件变分自编码器（cVAE）从两个解耦的潜在向量重建视觉特征：一个用于语义一致特征（$\bm{h}_s$），另一个用于语义无关特征（$\bm{h}_n$）。
• 关系模块计算$\bm{h}_s$与语义嵌入之间的兼容性得分，以指导$\bm{h}_s$学习语义一致性。
• 施加总相关性惩罚以强制$\bm{h}_s$与$\bm{h}_n$之间的统计独立性，确保特征解耦。
• 重建损失确保$\bm{h}_s$与$\bm{h}_n$的联合表示保留所有原始视觉信息。
• 通过结合重建损失、关系损失和解耦损失的联合目标，端到端训练模型。
• 使用解耦后的$\bm{h}_s$特征进行GZSL分类，从而实现从已见类别到未见类别的更好迁移。

实验结果

研究问题

• RQ1 将视觉特征解耦为语义一致和语义无关的组成部分，是否能提升GZSL中的零样本泛化能力？
• RQ2 使用关系模块将$\bm{h}_s$与语义属性对齐，是否能提升特征质量与模型性能？
• RQ3 总相关性惩罚在强制语义一致与语义无关特征之间独立性方面的有效性如何？
• RQ4 与预训练CNN生成的纠缠特征相比，解耦后的$\bm{h}_s$特征是否能在GZSL中实现更好的泛化能力？
• RQ5 各个组件（关系模块、总相关性、重建损失）对整体性能的影响如何？

主要发现

• 所提出的SDGZSL框架在四个GZSL基准数据集（CUB、AWA1、AWA2和FLOWERS）上实现了最先进性能。
• 语义一致特征（$\bm{h}_s$）在GZSL准确率上显著优于原始纠缠特征（$\bm{h}$）和语义无关特征（$\bm{h}_n$）。
• 消融实验表明，关系模块与总相关性惩罚均对最优性能至关重要，当两者同时使用时性能最佳。
• t-SNE可视化显示，$\bm{h}_s$特征比$\bm{h}_n$特征更具判别性且类别间分离更明显，后者仅保留非语义、非属性相关的模式。
• 模型对超参数变化表现出鲁棒性，在潜在维度、关系权重、总相关性权重和判别器权重的不同设置下均保持稳定性能。
• 最近邻检索结果表明，$\bm{h}_s$特征在检索正确类别样本方面更有效，错误匹配主要源于视觉相似但语义不同的类别。