[论文解读] RAVEN: A Dataset for Relational and Analogical Visual rEasoNing

Chi Zhang, Feng Gao+3 more|arXiv (Cornell University)|Mar 7, 2019

Multimodal Machine Learning Applications参考文献 56被引用 31

一句话总结

RAVEN 是一个包含 70,000 个瑞文非文字推理矩阵问题的大规模数据集，配备结构化、基于规则的视觉推理标注，旨在基准测试并提升视觉领域中的机器推理能力。通过整合一种新颖的动态残差树（DRT）模块，该模块利用结构化表示，模型在性能上实现了稳定提升，尽管在抽象、关系推理任务上，机器与人类之间的性能差距依然显著。

ABSTRACT

Dramatic progress has been witnessed in basic vision tasks involving low-level perception, such as object recognition, detection, and tracking. Unfortunately, there is still an enormous performance gap between artificial vision systems and human intelligence in terms of higher-level vision problems, especially ones involving reasoning. Earlier attempts in equipping machines with high-level reasoning have hovered around Visual Question Answering (VQA), one typical task associating vision and language understanding. In this work, we propose a new dataset, built in the context of Raven's Progressive Matrices (RPM) and aimed at lifting machine intelligence by associating vision with structural, relational, and analogical reasoning in a hierarchical representation. Unlike previous works in measuring abstract reasoning using RPM, we establish a semantic link between vision and reasoning by providing structure representation. This addition enables a new type of abstract reasoning by jointly operating on the structure representation. Machine reasoning ability using modern computer vision is evaluated in this newly proposed dataset. Additionally, we also provide human performance as a reference. Finally, we show consistent improvement across all models by incorporating a simple neural module that combines visual understanding and structure reasoning.

研究动机与目标

• 为解决人工智能领域中缺乏支持高级认知推理的结构化、基于规则的视觉推理数据集的问题。
• 通过引入具有明确结构和规则级标注的数据集，缩小机器与人类在抽象视觉任务上的推理性能差距。
• 评估通过新型神经模块（DRT）整合结构化推理与视觉感知的有效性。
• 对人类在相同推理任务上的表现进行基准测试，为机器智能建立强有力的基线。
• 研究在不同视觉配置和规则组合下的泛化能力。

提出的方法

• 使用属性随机图像语法（A-SIG）生成 RAVEN 数据集，系统性地将视觉元素和规则编码为结构化表示。
• 每个问题包含每张图像 16 个树形结构标注，用于捕捉对象及其属性之间的层次关系。
• 定义五种规则控制的属性（如形状、颜色、位置），每种属性具有四种可能的规则，支持复杂的组合推理。
• 提出一种动态残差树（DRT）模块，联合处理视觉特征与结构化表示，通过在结构化数据上应用残差学习来增强推理能力。
• 数据集包含七种不同的图形配置（如 Center、Left-Right、2x2Grid），用于测试在不同空间布局下的泛化能力。
• 采用零样本泛化协议，在不同配置间进行模型训练与评估，以衡量组合推理能力与可迁移性。

实验结果

研究问题

• RQ1 结构化的视觉表示是否能显著提升机器在瑞文非文字推理等抽象视觉任务上的推理能力？
• RQ2 通过 DRT 实现的结构化推理整合，与标准视觉模型相比，对模型性能有何影响？
• RQ3 模型在未见过的空间配置（如 2x2Grid 到 3x3Grid）之间泛化的能力如何，是否需要重新训练？
• RQ4 在 RAVEN 基准测试中，最先进模型与人类受试者之间的性能差距有多大？
• RQ5 辅助训练或数据增强是否能提升在此类结构化推理基准上的推理性能？

主要发现

• ResNet+DRT 模型在 Center 配置上达到 51.87% 的准确率，优于未使用结构化推理的模型。
• 在未见配置（如 Left-Right、Up-Down、Out-InCenter）上的泛化表现一致提升，准确率分别下降至 40.03% 和 35.46%，表明具备残差推理能力。
• 在多个配置上训练的模型优于仅在单一配置上训练的模型，证明数据集多样性对推理泛化的价值。
• 在转置配置之间（Left-Right 与 Up-Down）表现出强迁移能力，测试准确率分别为 41.07% 和 43.60%，表明对空间变换具有鲁棒性。
• 从 3x3Grid 泛化到 2x2Grid 的准确率为 43.72%，略高于在 2x2Grid 上专门训练的模型（40.93%），表明较大配置可能隐式捕捉较小配置的模式。
• 人类在 RAVEN 上的表现显著高于机器，即使在密集训练后，抽象关系推理能力的差距依然存在。