[论文解读] Semantically Consistent Regularization for Zero-Shot Recognition

Pedro Morgado, Nuno Vasconcelos|arXiv (Cornell University)|Apr 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 41被引用 22

一句话总结

本文提出语义一致正则化（SCoRe），一种用于零样本学习的新型CNN框架，通过结合基于损失的正则化与码字正则化，联合学习语义码并提升泛化能力。通过利用独立语义监督与结构化语义依赖，SCoRe在多个数据集上实现最先进性能，在CUB数据集上使用VGG19时性能提升最高达10.5%。

ABSTRACT

The role of semantics in zero-shot learning is considered. The effectiveness of previous approaches is analyzed according to the form of supervision provided. While some learn semantics independently, others only supervise the semantic subspace explained by training classes. Thus, the former is able to constrain the whole space but lacks the ability to model semantic correlations. The latter addresses this issue but leaves part of the semantic space unsupervised. This complementarity is exploited in a new convolutional neural network (CNN) framework, which proposes the use of semantics as constraints for recognition.Although a CNN trained for classification has no transfer ability, this can be encouraged by learning an hidden semantic layer together with a semantic code for classification. Two forms of semantic constraints are then introduced. The first is a loss-based regularizer that introduces a generalization constraint on each semantic predictor. The second is a codeword regularizer that favors semantic-to-class mappings consistent with prior semantic knowledge while allowing these to be learned from data. Significant improvements over the state-of-the-art are achieved on several datasets.

研究动机与目标

• 解决现有零样本学习（ZSL）方法的局限性：忽略语义相关性（RIS）或使语义空间的大部分区域未受监督（RULE）。
• 利用深度CNN中独立语义（RIS）与联合语义学习（RULE）的互补优势，提升零样本泛化能力。
• 构建一个统一框架，同时学习语义码与分类码，并通过正则化强制两者之间的一致性。
• 证明学习分类码而非将其固定为语义嵌入，可显著提升ZSL性能。
• 研究不同语义表示——属性、层次结构与Word2Vec——在所提框架下的ZSL性能影响。

提出的方法

• 提出双重正则化框架：基于损失的正则化用于约束每个语义预测器，码字正则化用于对齐学习到的分类码与语义知识。
• 在CNN中引入隐藏语义层，实现特征与语义码的端到端训练。
• 使用标签嵌入函数φ(y)将类别标签映射为语义向量，作为监督与正则化的基础。
• 训练一个共享特征的单一CNN，但具有独立的语义预测器，正则化确保预测与先验语义知识保持一致。
• 通过联合目标函数进行优化，结合交叉熵损失与两个正则项：一个用于强制每种属性的泛化，另一个用于促进语义码与分类码之间的对齐。
• 在训练类别子集上调节超参数λ（损失正则化系数）与β（码字正则化系数），以平衡一致性与灵活性。

实验结果

研究问题

• RQ1 将独立语义监督（RIS）与联合语义学习（RULE）相结合，如何提升深度CNN中的零样本识别性能？
• RQ2 与将分类码固定为语义嵌入相比，学习分类码对ZSL性能有何影响？
• RQ3 训练与零样本类别语义子空间之间的对齐程度，如何影响基于损失的正则化效果？
• RQ4 在所提框架下，哪种语义表示——属性、分类体系或Word2Vec——能实现最佳迁移性能？
• RQ5 任务敏感正则化（SCoRe）是否能超越任务无关正则化（如固定语义码）在ZSL中的表现？

主要发现

• Deep-SCoRe在CUB、AwA与IFCB上均达到最先进性能，相较于先前方法，使用AlexNet、GoogLeNet与VGG19时分别实现7.9%、3.7%与10.5%的绝对性能提升。
• 码字正则化优于固定语义码，在β值处于中间范围时性能最佳，表明一致性与可学习性之间存在平衡。
• 基于损失的正则化在语义子空间对齐较差的数据集（如IFCB）上带来最大性能增益，支持了其在可迁移性较低时最有效的假设。
• SCoRe显著优于RIS与RULE基线模型，证明了语义一致正则化下联合学习的优越性。
• 使用属性作为语义表示时迁移性能最佳，其次为层次结构与Word2Vec，证实了属性在ZSL中的判别能力。
• 未受约束的CNN（随机初始化）无法泛化到零样本类别，凸显了语义正则化在ZSL中的必要性。