[论文解读] Who is Mistaken

Benjamin Eysenbach, Carl Vondrick+1 more|arXiv (Cornell University)|Dec 4, 2016

Human Pose and Action Recognition参考文献 35被引用 7

一句话总结

本文提出了一项新任务，用于识别抽象视觉场景中的错误信念，提出一个包含8帧故事的数据集，其中角色持有错误信念。利用注视方向和场景上下文等视觉线索，该方法在预测谁犯错以及何时犯错方面优于基线模型，表明模型能够学习到关键的感知信号以识别信念。

ABSTRACT

Recognizing when people have false beliefs is crucial for understanding their actions. We introduce the novel problem of identifying when people in abstract scenes have incorrect beliefs. We present a dataset of scenes, each visually depicting an 8-frame story in which a character has a mistaken belief. We then create a representation of characters' beliefs for two tasks in human action understanding: predicting who is mistaken, and when they are mistaken. Experiments suggest that our method for identifying mistaken characters performs better on these tasks than simple baselines. Diagnostics on our model suggest it learns important cues for recognizing mistaken beliefs, such as gaze. We believe models of people's beliefs will have many applications in action understanding, robotics, and healthcare.

研究动机与目标

• 为解决视觉叙事中个体持有错误信念的识别挑战，这是社会认知的关键组成部分。
• 构建一个包含8帧抽象场景的数据集，描绘具有错误信念的角色，用于训练和评估信念识别模型。
• 通过使模型能够预测谁犯错以及信念何时出错，提升动作理解能力。
• 识别支持准确错误信念检测的视觉线索，如注视方向和场景上下文。

提出的方法

• 构建一个包含8帧视觉故事的数据集，其中角色持有错误信念，并标注了谁犯错以及错误发生的时间点。
• 设计一个表示模型，编码角色和场景的视觉特征，以随时间预测错误信念。
• 使用注意力机制聚焦显著的视觉线索，如注视方向和物体位置，以推断信念状态。
• 在数据集上端到端训练模型，使用交叉熵损失预测错误信念的身份和时间。
• 在两个任务上评估模型：分类哪个角色犯错，以及预测错误发生的帧。
• 应用诊断分析以解释模型行为，并识别出如注视方向和空间关系等学习到的线索。

实验结果

研究问题

• RQ1 视觉模型能否基于场景级别的视觉线索准确检测故事中角色何时持有错误信念？
• RQ2 当识别错误信念时，模型依赖哪些视觉信号（如注视方向或物体位置）？
• RQ3 与简单基线相比，所提方法在预测错误角色和错误时间点方面表现如何？
• RQ4 模型的预测在多大程度上能通过可解释的视觉线索（如眼球注视）进行解释？

主要发现

• 所提模型在识别谁犯错以及错误信念何时出现方面均优于简单基线。
• 诊断分析显示，模型学会了关注关键线索（如注视方向），表明其捕捉到了具有社会相关性的信号。
• 通过引入对8帧序列的时间推理，模型性能得到提升，表明叙事上下文的重要性。
• 视觉注意力图显示，注视方向与物体的交互是错误信念检测的关键因素，与人类直觉一致。
• 该数据集为错误信念识别提供了稳定的评估基准，为未来视觉推理与社会感知研究提供了基准。