[论文解读] Scientific and Technological Information Oriented Semantics-adversarial and Media-adversarial Cross-media Retrieval

Ang Li, Junping Du+5 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Image and Video Retrieval Techniques被引用 13

一句话总结

该论文提出SMCR，一种用于科技信息的新型跨模态检索框架，通过语义对抗与模态对抗训练，增强语义一致性和模态不变表示学习。通过联合优化模态间语义一致性和语义内模态判别，SMCR在两个基准数据集上优于最先进方法，在文本到图像和图像到文本检索任务中均取得更优的mAP分数。

ABSTRACT

Cross-media retrieval of scientific and technological information is one of the important tasks in the cross-media study. Cross-media scientific and technological information retrieval obtain target information from massive multi-source and heterogeneous scientific and technological resources, which helps to design applications that meet users' needs, including scientific and technological information recommendation, personalized scientific and technological information retrieval, etc. The core of cross-media retrieval is to learn a common subspace, so that data from different media can be directly compared with each other after being mapped into this subspace. In subspace learning, existing methods often focus on modeling the discrimination of intra-media data and the invariance of inter-media data after mapping; however, they ignore the semantic consistency of inter-media data before and after mapping and media discrimination of intra-semantics data, which limit the result of cross-media retrieval. In light of this, we propose a scientific and technological information oriented Semantics-adversarial and Media-adversarial Cross-media Retrieval method (SMCR) to find an effective common subspace. Specifically, SMCR minimizes the loss of inter-media semantic consistency in addition to modeling intra-media semantic discrimination, to preserve semantic similarity before and after mapping. Furthermore, SMCR constructs a basic feature mapping network and a refined feature mapping network to jointly minimize the media discriminative loss within semantics, so as to enhance the feature mapping network's ability to confuse the media discriminant network. Experimental results on two datasets demonstrate that the proposed SMCR outperforms state-of-the-art methods in cross-media retrieval.

研究动机与目标

• 解决现有跨模态检索方法忽视模态间语义一致性及语义内模态判别性的问题。
• 通过学习一个共享语义空间，使跨模态数据在映射后保持语义相似性，从而提升检索性能。
• 通过联合最小化模态内判别损失和语义内模态判别损失，增强特征表示能力。
• 开发一种鲁棒且可泛化的模型，不仅适用于科技信息检索，也适用于一般跨模态任务。

提出的方法

• SMCR采用包含两个主要网络的极小化极大对抗框架：特征映射网络和模态判别网络。
• 特征映射网络学习在模态内具有判别性、模态间具有一致性、且在语义内具有判别性的表示。
• 模态间语义一致性损失（$L_{imi}$）确保配对的跨模态样本（如图文对）在映射到共享子空间后，其语义相似性得以保留。
• 语义内模态判别损失（$L_{con}$）促使模型将同一模态中语义相似的样本映射到共享空间中相近的位置，同时使模态判别器产生混淆。
• 整体损失函数结合了嵌入损失（$L_{emb}$）、模态内判别损失（$L_{imd}$）、模态间一致性损失（$L_{imi}$）和语义内判别损失（$L_{con}$），其中超参数 $\alpha$ 和 $\beta$ 控制各项损失的相对贡献。
• 模型通过梯度下降端到端训练，特征映射网络优化语义保真度与不变性，而模态判别器则被训练以区分模态类型。

实验结果

研究问题

• RQ1 引入模态间语义一致性损失对跨模态检索性能有何影响？
• RQ2 语义内模态判别损失在多大程度上提升了特征表示与检索准确率？
• RQ3 SMCR模型对控制损失贡献的超参数（$\alpha$ 和 $\beta$）设置有多敏感？
• RQ4 SMCR是否能泛化到科技信息检索之外的一般跨模态任务？
• RQ5 SMCR在不同检索指标下是否能超越最先进方法？

主要发现

• 在Wikipedia数据集中，SMCR在文本到图像检索任务中取得0.7014的mAP，在图像到文本检索任务中取得0.5059的mAP，平均mAP为0.6036。
• 不包含模态间一致性损失（$L_{imi}$）的SMCR变体仅取得0.5951的平均mAP，表明$L_{imi}$显著提升了性能。
• 不包含语义内判别损失（$L_{con}$）的SMCR变体取得0.5922的平均mAP，证实$L_{con}$在增强特征判别性方面的重要性。
• SMCR对超参数变化表现出鲁棒性，文本到图像检索的最优性能出现在$\alpha=0.1, \beta=0.1$，图像到文本检索则在$\alpha=1, \beta=1$时达到最优。
• 该模型在SciTechDaily和Wikipedia两个数据集上均保持强劲性能，表明其具备超越领域特定数据的泛化能力。
• 消融研究证实，同时优化$L_{imi}$和$L_{con}$的效果优于单独优化任一损失，证明二者在提升检索准确率方面具有互补作用。