[论文解读] Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion

Yichi Zhang, Zhuo Chen+3 more|arXiv (Cornell University)|Feb 22, 2024

Text and Document Classification Technologies被引用 7

一句话总结

AdaMF-MAT 引入自适应多模态融合和模态对抗训练，以提升多模态知识图谱补全，在19个基线方法上显示超越，并在三个基准测试上达到新的 SOTA。

ABSTRACT

Multi-modal knowledge graph completion (MMKGC) aims to predict the missing triples in the multi-modal knowledge graphs by incorporating structural, visual, and textual information of entities into the discriminant models. The information from different modalities will work together to measure the triple plausibility. Existing MMKGC methods overlook the imbalance problem of modality information among entities, resulting in inadequate modal fusion and inefficient utilization of the raw modality information. To address the mentioned problems, we propose Adaptive Multi-modal Fusion and Modality Adversarial Training (AdaMF-MAT) to unleash the power of imbalanced modality information for MMKGC. AdaMF-MAT achieves multi-modal fusion with adaptive modality weights and further generates adversarial samples by modality-adversarial training to enhance the imbalanced modality information. Our approach is a co-design of the MMKGC model and training strategy which can outperform 19 recent MMKGC methods and achieve new state-of-the-art results on three public MMKGC benchmarks. Our code and data have been released at https://github.com/zjukg/AdaMF-MAT.

研究动机与目标

• 激发在 MMKGC 中有效利用不平衡模态信息的需求。
• 开发 AdaMF，以自适应地融合结构、视觉和文本模态。
• 引入模态对抗训练（MAT），以增强有限的多模态信息。
• 展示相对于基线的经验提升，并分析模态缺失情景。

提出的方法

• 使用专用编码器对实体的结构、视觉和文本特征进行编码。
• 应用自适应多模态融合（AdaMF）以使用模态特定权重（alpha_m）计算实体联合嵌入。
• 在联合嵌入上使用基于 RotatE 的评分函数进行三元组可信度评分。
• 引入模态对抗训练（MAT），包括生成器（G）和判别器（D），以创建并利用合成的多模态嵌入。
• 在对抗循环中训练 D 和 G，以用高质量的对抗样本增强学习。
• 提供一个训练目标，将 L_kgc 与带权对抗损失（L_adv）结合。

实验结果

研究问题

• RQ1 RQ1：在链接预测任务中，AdaMF-MAT 相较于现有 MMKGC 方法的表现如何？
• RQ2 RQ2：在模态缺失情境下，AdaMF-MAT 的表现如何？
• RQ3 RQ3：AdaMF 与 MAT 两个组件对整体性能的贡献是什么？
• RQ4 RQ4：直观的案例研究是否能说明 AdaMF-MAT 如何利用模态信息？

主要发现

• AdaMF-MAT 在三个 MMKGC 基准上超越了 19 个基线，在 MRR 和 Hits@1 上取得显著提升。
• 在没有 MAT 的情况下，AdaMF 已经优于若干基线，验证了自适应融合的有效性。
• MAT 通过生成高质量的对抗样本进行训练，带来额外提升。
• 在模态缺失情况下，AdaMF-MAT 仍然表现有效，提升在某些模态缺失时的鲁棒性。
• 消融研究表明每个组件（AdaMF 和 MAT）都对性能有贡献，其中自适应融合和对抗增强带来最佳结果。
• 案例研究表明模态权重随关系而异，MAT 能将重点转移到关键模态。