[论文解读] VoxML: A Visualization Modeling Language

James Pustejovsky, Nikhil Krishnaswamy|arXiv (Cornell University)|Oct 5, 2016

Semantic Web and Ontologies参考文献 24被引用 21

一句话总结

VoxML 是一种语义建模语言，通过丰富的词汇语义和空间语义编码 3D 视觉对象概念（体素），实现自然语言事件的动态多模态模拟。它整合了几何属性、事件结构和上下文环境，生成可在 Unity 中执行的可视化效果，通过形式化的状态转换和语义组合实现对语言输入的鲁棒模拟。

ABSTRACT

We present the specification for a modeling language, VoxML, which encodes semantic knowledge of real-world objects represented as three-dimensional models, and of events and attributes related to and enacted over these objects. VoxML is intended to overcome the limitations of existing 3D visual markup languages by allowing for the encoding of a broad range of semantic knowledge that can be exploited by a variety of systems and platforms, leading to multimodal simulations of real-world scenarios using conceptual objects that represent their semantic values.

研究动机与目标

• 为解决现有 3D 可视化语言在语义丰富性方面的不足，通过编码现实世界物体语义、事件和上下文关系来实现。
• 通过在形式化、可扩展的框架中建模物体属性、事件动态和空间关系，实现自然语言输入的多模态模拟。
• 通过形式化指定物体状态、转换和环境上下文，支持对语言表达的鲁棒、可执行可视化。
• 将词汇语义（例如 TELIC 角色、质料结构）与 3D 几何和运动相结合，实现对如 'put on a plate' 等动作的准确模拟。
• 开发一个可重用、可扩展的体素库（体素词典），以支持多样化语言表达的可扩展模拟。

提出的方法

• VoxML 基于 ISO 标准和生成词典原理的形式化规范，将体素定义为具有类型、特征结构和质料角色的语义单元。
• 物体通过原子（FORMAL）、亚原子（CONST）和事件（TELIC/AGENTIVE）结构建模，包含确保上下文有效性的环境约束。
• 事件动态通过带标签的转移系统（LTS）建模，其中动作触发物体位置和属性配置之间的状态转换。
• 自然语言输入通过 ClearNLP 解析，转换为谓词-论元结构，并映射到体素组合以执行。
• 几何约束（例如 'on the plate'）通过物体尺寸和凹凸性评估，以确定有效空间位置。
• 模拟引擎使用 DITL（动态解释性转移逻辑）执行状态转换，将物体移动至目标位置，并在 Unity 中可视化。

实验结果

研究问题

• RQ1 如何通过一种形式化语言表示 3D 物体及其交互的语义内容，以支持动态模拟？
• RQ2 如何将词汇语义（如 TELIC 角色和质料结构）与几何和空间约束相结合，以实现准确的视觉渲染？
• RQ3 需要何种形式化机制来基于语言输入建模 3D 空间中事件和物体状态的动态演化？
• RQ4 如何定义最小嵌入空间（MES）和环境上下文，以确保模拟中的语义和空间一致性？
• RQ5 如何构建一个组合性、可执行的框架，使用简单、可重用的体素组件来模拟复杂的语言动作？

主要发现

• VoxML 通过结合词汇语义、几何约束和状态转换，成功实现了自然语言句子的可执行 3D 可视化生成。
• 系统通过精确的空间评估和基于 DITL 的状态转换，实现了对 'put the apple on the plate' 等动作的功能性模拟。
• 该框架支持通过简单体素的组合构建复杂行为，随着体素词典的增长而具备可扩展性。
• 当前实现包含 500 个物体体素和 10 个程序体素，可在 Unity 中实现完整模拟。
• 该方法通过上下文和几何推理填充语言输入中缺失的空间和语义细节，实现鲁棒模拟。
• 该方法通过在模拟空间中编码认知视角、主体具身性和环境上下文，支持多模态模拟。