[论文解读] Video In Sentences Out

Andrei Barbu, Alexander Bridge+16 more|arXiv (Cornell University)|Apr 12, 2012

Human Pose and Action Recognition参考文献 25被引用 15

一句话总结

本文提出了一种视频到句子的生成系统，通过识别动作、追踪参与者、分配角色（施事/受事），并建模空间、时间及基于属性的关系，生成丰富且自然语言描述的视频片段。该系统采用基于检测的追踪方法与人体姿态码本，推断动词、名词、形容词、介词短语及副词成分，针对每段视频生成的最高等级句子在人工评估中达到25.5%的准确率。

ABSTRACT

We present a system that produces sentential descriptions of video: who did what to whom, and where and how they did it. Action class is rendered as a verb, participant objects as noun phrases, properties of those objects as adjectival modifiers in those noun phrases,spatial relations between those participants as prepositional phrases, and characteristics of the event as prepositional-phrase adjuncts and adverbial modifiers. Extracting the information needed to render these linguistic entities requires an approach to event recognition that recovers object tracks, the track-to-role assignments, and changing body posture.

研究动机与目标

• 生成详细、自然语言的句子以描述视频内容，包括谁对谁做了什么、在何处以及如何发生。
• 克服传统视频动作识别方法的局限性，这些方法无法识别对象角色、空间关系及对象属性。
• 基于视觉与运动线索，建模语言结构——动词、名词短语、形容词、介词短语与副词。
• 通过仅在必要时生成形容词以避免指代模糊，遵循格里森原则（Gricean principles），确保指代清晰。
• 整合运动追踪、目标检测与姿态分析，生成语义准确且上下文相关的描述。

提出的方法

• 使用基于检测的追踪方法，在视频帧之间保持对象身份的一致性，并提取运动轨迹。
• 应用双轨隐马尔可夫模型（HMM）来建模事件动态，包括运动转换与角色分配（施事、受事）。
• 采用人体姿态码本，通过归一化部位位移与姿态指数，推断人物姿态形容词（如：蹲伏、直立）。
• 仅在必要时生成带有形容词修饰的名词短语（颜色、大小、形状），以防止指代歧义，遵循格里森量规（Gricean Maxim of Quantity）。
• 基于观察者视角的二维空间定位，构建表示空间关系的介词短语（如：'在……左侧'）。
• 从追踪轨迹中提取的运动速度与方向，生成副词修饰语（如：缓慢地、向左）。

实验结果

研究问题

• RQ1 系统能否生成语义丰富、自然语言的句子，准确描述包含施事、受事、空间关系与运动特征的视频事件？
• RQ2 如何从视觉运动与追踪数据中可靠地推断对象角色（施事 vs. 受事）？
• RQ3 哪些视觉线索足以生成语言上恰当的形容词（如颜色、姿态），而不会造成过度描述？
• RQ4 运动轨迹与空间定位在多大程度上可用于生成准确的介词短语与副词？
• RQ5 与标准动作识别方法相比，追踪、姿态分析与角色分配的整合在多大程度上提升了句子生成的准确性？

主要发现

• 在生成每段视频最可能的一句话时，系统在人工评估中达到25.5%的判断为真实的准确率，表明其与视频内容具有可靠的语义对齐。
• 在49.4%的视频中，至少三句话中的一句被判断为真实，表明系统能广泛覆盖显著事件。
• 系统生成了18.4%的显著描述（共138句，总计749段视频），表明其能有效识别视觉上突出的事件。
• 使用人体姿态码本可准确从运动与姿态数据中推断人物姿态形容词，如“蹲伏”或“直立”。
• 系统通过应用格里森量规，仅在必要时生成形容词以避免指代模糊，从而避免了过度描述。
• 追踪、角色分配与运动分析的整合，使得系统能够生成复杂的语言结构，例如：'在自行车左侧的那个人向左离开了'。