[论文解读] Reasoning about Actions over Visual and Linguistic Modalities: A Survey

Shailaja Keyur Sampat, Maitreya Patel+3 more|arXiv (Cornell University)|Jul 15, 2022

Semantic Web and Ontologies被引用 6

一句话总结

本综述整合了利用视觉与语言模态进行动作推理的最新进展，分析了视觉语言AI中任务、数据集、模型与基准测试。研究识别出泛化与统一理解方面的关键挑战，倡导采用集成框架，以实现在现实应用中具备鲁棒性、目标导向性与社会意识的推理。

ABSTRACT

'Actions' play a vital role in how humans interact with the world and enable them to achieve desired goals. As a result, most common sense (CS) knowledge for humans revolves around actions. While 'Reasoning about Actions & Change' (RAC) has been widely studied in the Knowledge Representation community, it has recently piqued the interest of NLP and computer vision researchers. This paper surveys existing tasks, benchmark datasets, various techniques and models, and their respective performance concerning advancements in RAC in the vision and language domain. Towards the end, we summarize our key takeaways, discuss the present challenges facing this research area, and outline potential directions for future research.

研究动机与目标

• 整合视觉语言AI中关于动作推理研究的现状，重点关注多模态理解。
• 识别并分类关键的推理类型，如时间预测、解释、规划与依赖关系，涵盖视觉与语言输入。
• 突出现有模型的局限性，包括泛化能力差以及在不同动作类型间缺乏统一理解。
• 提出一个统一的端到端动作理解框架，整合意图、先决条件、影响与社会常识。
• 概述实现鲁棒、可泛化且具备社会意识的AI智能体所需的关键挑战与未来研究方向。

提出的方法

• 系统性综述200余项关于动作推理（RAC）的研究，涵盖视觉、自然语言处理与知识表示领域。
• 将推理类型划分为五类：时间预测、时间解释、目标驱动规划、时间依赖与多跳推理。
• 分析bAbI、ATOMIC以及基于图像的积木世界任务等基准数据集，以评估模型性能与泛化能力。
• 评估深度学习模型（包括视觉-语言Transformer与基于知识图谱的系统）在动作推理任务中的表现。
• 识别迁移学习、数据增强与视角变化作为提升模型泛化能力的关键策略。
• 提出一个统一的动作理解框架，整合动作序列中物理、社会与时间常识知识。

实验结果

研究问题

• RQ1 在涉及动作的视觉语言任务中，关键的推理类型有哪些？它们如何被定义与评估？
• RQ2 现有模型在动作推理基准测试中的表现如何？其在泛化与鲁棒性方面存在哪些局限？
• RQ3 在不同推理类型与模态之间统一多模态动作理解的核心挑战是什么？
• RQ4 模型如何整合物理与社会常识知识，以推理动作的先决条件、影响与假设情景？
• RQ5 哪些未来研究方向可推动AI智能体实现更鲁棒、可泛化且接近人类水平的推理能力？

主要发现

• 现有模型在精心构建的基准测试中表现尚可，但在不同领域与模态间缺乏泛化能力。
• 尽管多跳推理（通过多个上下文推理链推导复杂结论）对现实世界推理至关重要，但其发展仍不充分。
• 当前方法大多依赖特定数据集，难以在不同动作类型或推理任务间迁移知识。
• 亟需一个统一框架，将动作意图、先决条件、影响与社会后果整合为统一连贯的理解。
• 迁移学习与数据增强策略正日益用于提升泛化能力，但在动作推理中仍研究不足。
• 整合物理与社会常识（如切割导致受伤风险或储存不当导致变质）至关重要，但当前模型中常被忽略。