[论文解读] Symbolic Replay: Scene Graph as Prompt for Continual Learning on VQA Task

Stan Weixian Lei, Difei Gao+5 more|arXiv (Cornell University)|Aug 24, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出CLOVE，一种用于视觉问答（VQA）持续学习的新基准，支持场景增量和功能增量设置。它引入了场景图作为提示（SGP），一种使用场景图作为提示来重放知识的符号化重放方法，无需真实图像即可实现有效持续学习，从而在多模态VQA模型中保持推理机制并防止灾难性遗忘。

ABSTRACT

VQA is an ambitious task aiming to answer any image-related question. However, in reality, it is hard to build such a system once for all since the needs of users are continuously updated, and the system has to implement new functions. Thus, Continual Learning (CL) ability is a must in developing advanced VQA systems. Recently, a pioneer work split a VQA dataset into disjoint answer sets to study this topic. However, CL on VQA involves not only the expansion of label sets (new Answer sets). It is crucial to study how to answer questions when deploying VQA systems to new environments (new Visual scenes) and how to answer questions requiring new functions (new Question types). Thus, we propose CLOVE, a benchmark for Continual Learning On Visual quEstion answering, which contains scene- and function-incremental settings for the two aforementioned CL scenarios. In terms of methodology, the main difference between CL on VQA and classification is that the former additionally involves expanding and preventing forgetting of reasoning mechanisms, while the latter focusing on class representation. Thus, we propose a real-data-free replay-based method tailored for CL on VQA, named Scene Graph as Prompt for Symbolic Replay. Using a piece of scene graph as a prompt, it replays pseudo scene graphs to represent the past images, along with correlated QA pairs. A unified VQA model is also proposed to utilize the current and replayed data to enhance its QA ability. Finally, experimental results reveal challenges in CLOVE and demonstrate the effectiveness of our method. The dataset and code will be available at https://github.com/showlab/CLVQA.

研究动机与目标

• 解决当前VQA持续学习基准中缺乏同时支持场景增量和功能增量设置的问题。
• 克服在学习新视觉场景或推理功能时，VQA模型面临灾难性遗忘的挑战。
• 开发一种无需真实数据的重放机制，以在不依赖图像生成的前提下保持推理能力。
• 使VQA模型能够随时间适应新环境和新问题类型，模拟真实世界部署场景。

提出的方法

• 提出CLOVE，一种新基准，包含两种设置：场景增量（6个场景）和功能增量（6个功能），用于持续VQA。
• 设计一种基于场景图作为提示的符号化重放机制，以表示过去的知识，替代真实图像的重放。
• 基于语言模型开发一种符号化重放模型（SRM），学习场景图与问答对之间的任务特定映射。
• 使用统一的VQA模型（UniVQA）处理当前和重放的场景图-问答对输入，以增强持续学习效果。
• 在推理阶段采用提示机制，通过随机采样的场景图关系触发过去知识的重放。
• 利用结构化、符号化的表示方式，避免伪重放方法中低质量图像生成带来的局限性。

实验结果

研究问题

• RQ1 如何在真实场景增量和功能增量设置下有效评估VQA中的持续学习？
• RQ2 使用场景图的符号化重放是否能优于传统的基于图像的重放方法，以在持续VQA训练中防止遗忘？
• RQ3 统一的VQA模型在使用符号化提示时，能在多大程度上泛化到新的视觉场景和新的推理功能？
• RQ4 在同时扩展视觉环境和功能能力时，持续VQA面临的主要挑战是什么？
• RQ5 所提出的SGP方法如何在多模态、多任务VQA中保持推理机制并避免灾难性遗忘？

主要发现

• CLOVE基准揭示了持续VQA中的显著挑战，尤其是在同时应对场景和功能增量时维持性能方面。
• 与基线重放和正则化方法相比，所提出的SGP方法在CLOVE-scene和CLOVE-function设置中均表现出更优性能。
• 使用场景图的符号化重放能有效保持推理机制并减少灾难性遗忘，即使在无真实图像数据的情况下亦然。
• 统一的VQA模型（UniVQA）成功整合了当前和重放的知识，展示了在多样化视觉和功能任务中的强大泛化能力。
• CLOVE中的答案分布显示出高度的类别不平衡，凸显了开放性VQA任务中持续学习的难度。
• 定性分析表明，SGP能够从场景图生成合理且多样的问答对，支持有效的知识重放。