[论文解读] VrR-VG: Refocusing Visually-Relevant Relationships

Yuanzhi Liang, Yalong Bai+4 more|arXiv (Cornell University)|Feb 1, 2019

Multimodal Machine Learning Applications参考文献 42被引用 11

一句话总结

本文提出 VrR-VG，一种新型场景图数据集，通过视觉判别网络（VD-Net）从 Visual Genome 中过滤掉视觉无关的关系，从而构建出更加平衡、多样且在认知上更具价值的数据集。通过联合学习物体、属性和视觉相关关系的表征，该方法在图像字幕生成与视觉问答任务中取得显著性能提升，证明高质量视觉关系对推进视觉认知任务至关重要。

ABSTRACT

Relationships encode the interactions among individual instances, and play a critical role in deep visual scene understanding. Suffering from the high predictability with non-visual information, existing methods tend to fit the statistical bias rather than ``learning'' to ``infer'' the relationships from images. To encourage further development in visual relationships, we propose a novel method to automatically mine more valuable relationships by pruning visually-irrelevant ones. We construct a new scene-graph dataset named Visually-Relevant Relationships Dataset (VrR-VG) based on Visual Genome. Compared with existing datasets, the performance gap between learnable and statistical method is more significant in VrR-VG, and frequency-based analysis does not work anymore. Moreover, we propose to learn a relationship-aware representation by jointly considering instances, attributes and relationships. By applying the representation-aware feature learned on VrR-VG, the performances of image captioning and visual question answering are systematically improved with a large margin, which demonstrates the gain of our dataset and the features embedding schema. VrR-VG is available via http://vrr-vg.com/.

研究动机与目标

• 为解决现有视觉关系数据集受限于统计偏差、非视觉关系主导的问题，这些关系会阻碍高层视觉认知任务的进展。
• 通过使用视觉判别网络（VD-Net）自动修剪 Visual Genome 中的视觉无关关系，构建新数据集 VrR-VG。
• 证明从视觉相关关系中学习可产生更优的表征，适用于图像字幕生成与视觉问答等认知任务。
• 表明基于频率的基线方法在 VrR-VG 上表现不佳，证明其统计偏差更低且视觉相关性更高。
• 开发一种联合学习框架，将物体、属性与关系整合为统一的、关系感知的特征表征。

提出的方法

• 训练视觉判别网络（VD-Net）以区分视觉相关与无关的关系，输入为图像特征与边界框位置。
• 将 VD-Net 应用于原始 Visual Genome 数据集，以过滤仅依赖空间布局或语言先验即可预测的关系。
• 构建的过滤后数据集命名为“视觉相关关系数据集”（Visually-Relevant Relationships Dataset, VrR-VG），其关系标签分布相比 VG150 更加平衡与多样。
• 提出一种联合表征学习框架，将物体身份、空间定位、属性与关系同时编码至统一的特征空间。
• 在图像字幕生成与 VQA 任务上评估该方法，使用在 VrR-VG 上训练的特征，并通过消融实验与 VG150、R-VG 及仅物体基线进行比较。
• 采用交叉熵与 CIDEr 优化联合训练框架，性能在 MSCOCO 2014 与 VQA 2.0 基准上进行评估。

实验结果

研究问题

• RQ1 学习到的视觉判别器能否有效识别并过滤大规模场景图数据集中视觉无关的关系？
• RQ2 仅保留视觉相关关系构建的数据集是否能提升图像字幕生成与 VQA 等视觉认知任务的性能？
• RQ3 联合学习物体、属性与关系是否能产生比仅使用物体或属性特征更具信息量的视觉表征？
• RQ4 基于频率的统计基线在新数据集 VrR-VG 上的失败程度如何，表明其统计偏差更低？
• RQ5 VrR-VG 中的关系感知特征在字幕生成中，与 VG150 和 R-VG 相比，在语义丰富度与多样性方面表现如何？

主要发现

• VrR-VG 显著降低了非视觉关系（如 'on'、'of'、'in'）的主导性，这些关系在 VG150 中占比达 31.9%，导致关系标签分布更加平衡与多样。
• 基于频率的基线方法在 VrR-VG 上不再表现良好，表明该数据集对统计偏差的敏感性更低，更依赖视觉理解。
• 在 CIDEr 优化下，微调 VrR-VG 特征的图像字幕模型取得 120.7 的 CIDEr 分数，优于 VG150（118.2）与 R-VG（118.8）。
• 在 VQA 任务中，VrR-VG 的关系感知特征带来性能提升，证明视觉相关关系可增强推理能力。
• 在 VrR-VG 上训练的模型生成的字幕更具语义丰富性与多样性，例如使用 'hanging'、'covered' 等动词，而非简单的谓词如 'on' 或 'with'。
• 尽管图像与标注数量少于 BottomUp-VG，但 VrR-VG 的特征在图像字幕生成任务中仍达到相当或更优的性能，证明高质量关系的价值高于数据量。