[论文解读] Toward 3D Spatial Reasoning for Human-like Text-based Visual Question Answering

Hao Li, Jinfa Huang+4 more|arXiv (Cornell University)|Sep 21, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出DA-Net，一种用于基于文本的视觉问答（TextVQA）任务的3D空间推理框架，通过整合深度感知的几何信息来增强空间理解能力。通过引入用于物体-文本定位的关系预测模块，以及基于深度感知的注意力校准模块以优化OCR标记的注意力，DA-Net在TextVQA和ST-VQA的空间推理问题上分别实现了5.7%和12.1%的性能提升，达到当前最优水平。

ABSTRACT

Text-based Visual Question Answering~(TextVQA) aims to produce correct answers for given questions about the images with multiple scene texts. In most cases, the texts naturally attach to the surface of the objects. Therefore, spatial reasoning between texts and objects is crucial in TextVQA. However, existing approaches are constrained within 2D spatial information learned from the input images and rely on transformer-based architectures to reason implicitly during the fusion process. Under this setting, these 2D spatial reasoning approaches cannot distinguish the fine-grain spatial relations between visual objects and scene texts on the same image plane, thereby impairing the interpretability and performance of TextVQA models. In this paper, we introduce 3D geometric information into a human-like spatial reasoning process to capture the contextual knowledge of key objects step-by-step. %we formulate a human-like spatial reasoning process by introducing 3D geometric information for capturing key objects' contextual knowledge. To enhance the model's understanding of 3D spatial relationships, Specifically, (i)~we propose a relation prediction module for accurately locating the region of interest of critical objects; (ii)~we design a depth-aware attention calibration module for calibrating the OCR tokens' attention according to critical objects. Extensive experiments show that our method achieves state-of-the-art performance on TextVQA and ST-VQA datasets. More encouragingly, our model surpasses others by clear margins of 5.7\% and 12.1\% on questions that involve spatial reasoning in TextVQA and ST-VQA valid split. Besides, we also verify the generalizability of our model on the text-based image captioning task.

研究动机与目标

• 解决现有TextVQA模型在区分物体与场景文本之间细微2D空间关系方面的局限性。
• 通过将3D几何信息融入推理过程，提升空间推理的可解释性与性能。
• 通过建模视觉实体与OCR标记之间的深度感知空间关系，实现类人化的空间推理。
• 证明所提方法在TextVQA之外的文本图像描述生成任务中的泛化能力。
• 通过利用深度信息，克服2D空间推理中因边界框重叠导致的虚假关联问题。

提出的方法

• 提出一种关系预测模块，利用深度感知特征预测关键物体与OCR标记之间的细粒度3D空间关系。
• 引入一种深度感知注意力校准模块，根据关键物体的空间接近度与深度值重新加权OCR标记的注意力分数。
• 将来自预训练深度估计模型的3D几何信息整合到基于Transformer架构的多模态融合过程中。
• 采用分步推理流程，先定位关键物体，再基于其3D空间上下文优化OCR注意力。
• 在多模态融合过程中，利用绝对空间坐标与深度值丰富视觉-语言表征。
• 采用端到端训练策略，使用交叉熵损失进行答案预测，同时引入关系预测头以实现空间关系定位。

实验结果

研究问题

• RQ1 将3D几何信息引入是否能超越2D空间特征，在TextVQA中提升空间推理的准确性？
• RQ2 深度感知注意力校准如何增强模型在复杂场景中关注相关OCR标记的能力？
• RQ3 关系预测模块在空间模糊情形下的定位与推理性能提升程度如何？
• RQ4 所提出的3D空间推理框架是否能泛化到其他视觉-语言任务（如基于文本的图像描述）？
• RQ5 与SOTA的2D方法相比，该模型在具有挑战性的空间推理问题上的表现如何？

主要发现

• DA-Net在TextVQA数据集上达到SOTA性能，在空间推理子集上相比之前SOTA方法提升5.7%。
• 在ST-VQA数据集上，DA-Net在空间推理有效集上相比基线模型实现12.1%的绝对性能提升。
• 在TextCaps文本图像描述基准上，DA-Net取得新的SOTA CIDEr-D得分96.80与BLEU-4得分24.35。
• 消融实验表明，关系预测模块与深度感知注意力校准均对性能提升有显著贡献。
• 可视化结果表明，DA-Net能正确识别空间关系（如“在……之上”、“在……之下”），并有效避免对干扰项的注意力，尤其在物体与OCR重叠的场景中表现更优。
• 模型对OCR检测噪声具有鲁棒性，并在多样化的视觉-语言推理任务中展现出良好的泛化能力。