[论文解读] REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Multi-Source Multimodal Knowledge Memory

Ziniu Hu, Ahmet İşcen+7 more|arXiv (Cornell University)|Dec 10, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

ReVeaL 提出了一种端到端的检索增强型视觉语言模型，通过从多样化来源（如图文对、知识图谱和维基百科段落）统一预训练多源多模态记忆，实现高效检索与生成。通过采用注意力融合机制联合训练检索器与生成器，ReVeaL 在 OKVQA 上实现了 SOTA 性能（59.1% 准确率），且参数量显著少于先前方法。

ABSTRACT

In this paper, we propose an end-to-end Retrieval-Augmented Visual Language Model (REVEAL) that learns to encode world knowledge into a large-scale memory, and to retrieve from it to answer knowledge-intensive queries. REVEAL consists of four key components: the memory, the encoder, the retriever and the generator. The large-scale memory encodes various sources of multimodal world knowledge (e.g. image-text pairs, question answering pairs, knowledge graph triplets, etc) via a unified encoder. The retriever finds the most relevant knowledge entries in the memory, and the generator fuses the retrieved knowledge with the input query to produce the output. A key novelty in our approach is that the memory, encoder, retriever and generator are all pre-trained end-to-end on a massive amount of data. Furthermore, our approach can use a diverse set of multimodal knowledge sources, which is shown to result in significant gains. We show that REVEAL achieves state-of-the-art results on visual question answering and image captioning.

研究动机与目标

• 为解决大规模视觉语言模型在世界知识更新时需进行大规模再训练的局限性。
• 通过将知识存储与模型参数解耦，实现高效、可扩展且动态的知识检索。
• 通过利用多样化多模态知识源，提升知识密集型视觉语言任务的性能。
• 开发一种可微分的端到端训练范式，实现检索器与生成器的联合优化。
• 通过仅修改外部记忆而非重训练模型参数，实现快速知识更新。

提出的方法

• 该模型使用统一编码器将多样化多模态知识源（如图文对、维基百科段落、知识图谱三元组）嵌入到共享记忆空间中。
• 检索模块利用多模态查询嵌入，通过可微分的注意力融合机制从记忆中检索最相关知识条目。
• 注意力融合层将检索得分直接整合到自注意力机制中，实现通过检索器的端到端反向传播。
• 生成器将检索到的知识与输入查询融合，以生成答案或图像字幕，训练目标为语言建模。
• 整个系统——记忆、编码器、检索器与生成器——在大规模多源图像-文本语料上进行联合预训练。
• 通过修改记忆而非重训练模型参数，支持知识更新，实现动态适应。

Figure 2 : The overall workflow of R e V ea L consists of four main steps: (a) encode a multimodal input into a sequence of token embeddings and a summarized query embedding; (b) encode each knowledge entry from different corpus into unified key and value embedding pairs, where key is used to index

实验结果

研究问题

• RQ1 检索增强型视觉语言模型是否能在知识密集型视觉问答与图像字幕任务上实现 SOTA 性能？
• RQ2 与冻结参数或蒸馏方法相比，检索器与生成器联合进行端到端预训练是否能带来更优的检索与生成性能？
• RQ3 统一的多模态记忆能否有效整合多样化知识源（如文本、图像、知识图谱）以提升推理能力？
• RQ4 该模型在不重训练参数的情况下，能否高效适应新知识或更新后的知识？
• RQ5 与独立检索评分方法相比，注意力融合机制是否能提升检索质量与下游任务准确率？

主要发现

• ReVeaL 在 OKVQA 基准上实现了 59.1% 的新 SOTA 准确率，显著优于先前方法。
• 该模型以比先前 SOTA 方法少一个数量级的参数量实现该性能，展现出极高的参数效率。
• 注意力融合方法在 WIT 数据集上实现 top-10 检索准确率 72.6%，top-100 达 89.4%，优于 Attention Distill 和 Perplexity Distill 等基线方法。
• 当记忆中移除知识后，模型准确率下降至 45.1%；重新引入知识后，准确率恢复至 51.8%，证明模型可在不重训练的情况下适应知识更新。
• 所提方法的计算成本（120 GFLOPs）与 Attention Distill 相当，但显著低于 EMDR2 和 Perplexity Distill，表明其具有高效率。
• 该模型展现出强大的泛化能力与鲁棒性，使用记忆中多样化多模态知识源可带来性能增益。

Figure 3 : Detailed procedure of attentive knowledge fusion module. We inject retrieval probability as a prior to knowledge token embeddings, so the retriever can receive gradients via back-propagating over {self/cross}-attention part.