[论文解读] Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval

Xinxun Xu, Hao Wang+2 more|arXiv (Cornell University)|May 7, 2019

Advanced Image and Video Retrieval Techniques参考文献 15被引用 4

一句话总结

本文提出了一种用于零样本草图图像检索的语义对抗网络，通过类别级词向量增强特征一致性，并利用三元组损失保留类内可分性。端到端模型实现了最先进性能，在Sketchy数据集上优于先前方法超过12%，在TU-Berlin数据集上优于约3%。

ABSTRACT

Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for retrieving natural images with free-hand sketches under zero-shot scenario. Previous works mostly focus on modeling the correspondence between images and sketches or synthesizing image features with sketch features. However, both of them ignore the large intra-class variance of sketches, thus resulting in unsatisfactory retrieval performance. In this paper, we propose a novel end-to-end semantic adversarial approach for ZS-SBIR. Specifically, we devise a semantic adversarial module to maximize the consistency between learned semantic features and category-level word vectors. Moreover, to preserve the discriminability of synthesized features within each training category, a triplet loss is employed for the generative module. Additionally, the proposed model is trained in an end-to-end strategy to exploit better semantic features suitable for ZS-SBIR. Extensive experiments conducted on two large-scale popular datasets demonstrate that our proposed approach remarkably outperforms state-of-the-art approaches by more than 12\% on Sketchy dataset and about 3\% on TU-Berlin dataset in the retrieval.

研究动机与目标

• 解决自由手绘草图中类内差异大的问题，该问题限制了零样本草图图像检索的性能。
• 通过利用类别级词向量，改善草图与图像特征之间的语义对齐。
• 在生成过程中保持每个训练类别内合成特征的可分性。
• 开发一个端到端可训练的框架，联合优化语义一致性和特征可分性。
• 在大规模基准数据集上实现卓越的零样本检索性能。

提出的方法

• 引入一个语义对抗模块，以最大化学习到的语义特征与类别级词向量之间的一致性。
• 在生成模块中使用三元组损失，以保持同一训练类别内合成特征的可分性。
• 端到端训练整个模型，以联合优化语义对齐与特征可分性。
• 使用深度神经网络将草图和图像映射到共享语义空间，在该空间中强制执行语义一致性。
• 利用词向量（例如，Word2Vec 或 GloVe）作为监督信号，将特征与语义类别对齐。
• 结合对抗训练与三元组损失，以平衡语义泛化与类内紧凑性。

实验结果

研究问题

• RQ1 语义对抗训练能否改善草图特征与语义类别表示之间的一致性？
• RQ2 在生成模块中引入三元组损失是否能增强合成特征的类内紧凑性？
• RQ3 端到端训练整个模型是否能比分阶段或独立训练获得更好的零样本检索性能？
• RQ4 与现有方法相比，该模型在草图数据具有大类内差异的情况下表现如何？
• RQ5 所提方法在标准ZS-SBIR基准上的表现相较于最先进方法超出多少？

主要发现

• 所提方法在Sketchy数据集上的性能相比最先进方法显著提升超过12%。
• 在TU-Berlin数据集上，该模型相比现有方法将检索性能提升了约3%。
• 语义对抗模块有效增强了特征与类别级词向量之间的一致性，改善了跨模态对齐。
• 三元组损失组件在特征生成过程中成功保留了每个类别内的可分性特征。
• 端到端训练使语义一致性与特征可分性的优化更加充分，从而带来更高的检索准确率。
• 即使在草图数据类内差异较大的情况下，该模型仍表现出强大的泛化能力。