[论文解读] Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation

Jakob Suchan, Mehul Bhatt+1 more|arXiv (Cornell University)|Aug 13, 2015

Constraint Satisfaction and Optimization参考文献 35被引用 3

一句话总结

本文提出了一种基于约束逻辑编程的声明式模型，用于在图像图式中实现视觉空间动态的具身化感知，并生成动态图像的自然语言摘要。该模型整合了时空语言抽象、图像图式以及一种容错查询的语言生成器，在真实世界数据上实现了平均77.8毫秒的句子生成时间与每篇摘要26.2个句子的性能。

ABSTRACT

We present a general theory and corresponding declarative model for the embodied grounding and natural language based analytical summarisation of dynamic visuo-spatial imagery. The declarative model ---ecompassing spatio-linguistic abstractions, image schemas, and a spatio-temporal feature based language generator--- is modularly implemented within Constraint Logic Programming (CLP). The implemented model is such that primitives of the theory, e.g., pertaining to space and motion, image schemata, are available as first-class objects with `deep semantics' suited for inference and query. We demonstrate the model with select examples broadly motivated by areas such as film, design, geography, smart environments where analytical natural language based externalisations of the moving image are central from the viewpoint of human interaction, evidence-based qualitative analysis, and sensemaking. Keywords: moving image, visual semantics and embodiment, visuo-spatial cognition and computation, cognitive vision, computational models of narrative, declarative spatial reasoning

研究动机与目标

• 开发一种通用理论与声明式模型，用于在图像图式中具象化动态视觉空间感知，以实现自然语言摘要。
• 通过形式化、可查询的表示，实现对动态图像中空间、运动与时间动态的深层语义推理。
• 通过完全声明式的逻辑编程框架，支持从视觉输入到语言的双向推理，反之亦然。
• 为电影、设计、地理空间分析与智能环境等领域的分析性语言生成，提供模块化且容错性强的系统。
• 证明图像图式与定性时空抽象可作为认知视觉与人机交互的基础原语的可行性。

提出的方法

• 该模型在约束逻辑编程（CLP）中实现，将图像图式、空间关系与运动原语视为一等、语义丰富的对象。
• 计算机视觉提取的时空特征（如光流、HOG、人脸检测）被抽象为定性、语言驱动的表示。
• 图像图式（如包含、路径、起点-路径-目标）在CLP框架内被形式化为声明式、具备推理能力的构造。
• 语言生成组件使用基于逻辑的语法树与词典映射，生成现在时、过去时与将来时的自然语言摘要。
• 系统支持双向查询：从输入数据生成句子，或从句子反推其语言与语义分解。
• 整个流水线具有模块化与容错性，支持在不破坏生成过程的前提下，增量添加或移除事实、规则与约束。

实验结果

研究问题

• RQ1 如何在声明式逻辑框架中，将图像图式正式表示为一等、语义丰富的对象，以支持视觉空间推理？
• RQ2 基于图像图式与时空抽象的声明式模型，在视觉输入与自然语言输出之间，能在多大程度上支持双向推理？
• RQ3 基于约束逻辑编程的系统能否实现高效、容错查询、语言准确的动态视觉场景语言生成？
• RQ4 该模型在电影、设计与地理空间分析等多样化领域中，生成分析性有意义、语境连贯的动态图像摘要方面，效果如何？
• RQ5 在真实世界视觉数据上，使用这种完全声明式、符号化方法生成自然语言摘要的性能开销是多少？

主要发现

• 模型在简单时态下平均句子生成时间为77.8毫秒，进行时态为84.48毫秒，复杂句为1.32毫秒。
• 平均每篇摘要包含26.2个句子，平均句长17.6个词元，表明输出密度高且语义连贯。
• 语言生成系统完全声明式且容错性强，在添加或移除事实或规则时仍能保持正确性与一致性。
• 系统成功支持双向查询：从视觉输入生成句子，以及从句子反推其语言与语义分解。
• 在25名受试者共500个IDS实例上的实证评估，证实了该模型在真实世界环境中的鲁棒性与可扩展性。
• 该模型在需要定性、意义建构导向分析动态视觉数据的辅助技术与认知系统中，展现出强大潜力。