[论文解读] Talking Space: inference from spatial linguistic meanings

Vincent Wang-Maścianica, Bob Coecke|arXiv (Cornell University)|Sep 14, 2021

Language, Metaphor, and Cognition参考文献 39被引用 4

一句话总结

本文提出了一种组合式、图示化的框架，通过 DisCoCat 和 DisCoCirc 将空间语言意义与物理空间相结合，实现了对空间关系（例如 'above'、'next to'）以及代理特定空间能力（例如棋子移动）的推理。其主要贡献是一个数学上严格、与实现无关的模型，支持自然语言中的空间推理，统一了语言结构与空间语义及具身性。

ABSTRACT

This paper concerns the intersection of natural language and the physical space around us in which we live, that we observe and/or imagine things within. Many important features of language have spatial connotations, for example, many prepositions (like in, next to, after, on, etc.) are fundamentally spatial. Space is also a key factor of the meanings of many words/phrases/sentences/text, and space is a, if not the key, context for referencing (e.g. pointing) and embodiment. We propose a mechanism for how space and linguistic structure can be made to interact in a matching compositional fashion. Examples include Cartesian space, subway stations, chesspieces on a chess-board, and Penrose's staircase. The starting point for our construction is the DisCoCat model of compositional natural language meaning, which we relax to accommodate physical space. We address the issue of having multiple agents/objects in a space, including the case that each agent has different capabilities with respect to that space, e.g., the specific moves each chesspiece can make, or the different velocities one may be able to reach. Once our model is in place, we show how inferences drawing from the structure of physical space can be made. We also how how linguistic model of space can interact with other such models related to our senses and/or embodiment, such as the conceptual spaces of colour, taste and smell, resulting in a rich compositional model of meaning that is close to human experience and embodiment in the world.

研究动机与目标

• 在组合式、图示化的框架中形式化语言结构与物理空间之间的交互。
• 通过组合语义实现对空间关系（例如 'above'、'next to'）的推理。
• 在统一的语义框架内建模代理特定的空间能力（例如国际象棋棋子的移动）。
• 将空间意义与其他概念空间（例如颜色、味道）整合，以实现更丰富、具身化的意义表征。
• 以一种支持系统性、创造性概念生成的方式，连接语言语义与物理空间。

提出的方法

• 通过将 DisCoCat 模型放宽以纳入物理空间，使用预群（prenexes）表示句法结构，并采用图示化推理。
• 将空间关系引入为可组合的实体，通过 DisCoCirc 在句子之间组合，实现多代理空间推理。
• 将空间特征（如物体范围）以及代理特定的移动能力（例如国际象棋中的马步）建模为语义范畴内的内部布线。
• 使用三维欧氏空间 R³ 作为多样化空间领域（例如网格、地铁线路）的通用嵌入，实现在离散与连续空间之间的统一。
• 采用组合式范畴论方法，保留语法结构，并可通过统计或手工设计的方法学习空间关系。
• 通过组合式组合性，实现语言意义与感官概念空间（例如颜色、气味）之间的交互。

实验结果

研究问题

• RQ1 如何以尊重空间物理结构的方式组合空间语言意义，以实现推理？
• RQ2 如何在语言语义框架内编码并组合代理特定的空间能力（例如国际象棋棋子的移动）？
• RQ3 如何使用组合式范畴论方法形式化语言中的空间推理，使其与语言句法相匹配？
• RQ4 当引入空间和具身意义时，DisCoCat 模型与 Montague 语义学之间存在何种关系？
• RQ5 如何将空间意义与其他概念空间（例如颜色、味道）整合，以形成更丰富、具身化的意义模型？

主要发现

• 该模型成功实现了推理，例如空间介词的传递性（例如 'above' 在 'painting above chest' 中意味着 'light above chest'）。
• 它支持对多个代理在空间中的推理，包括代理具有不同空间能力的情况（例如国际象棋中马的 L 形移动）。
• 该框架可通过语言图示明确指定棋盘上的特定棋子，展示了明确的空间推理能力。
• 该模型兼容手工设计和学习得到的空间关系，支持灵活性与可扩展性。
• 它为语言结构与物理空间之间提供了组合式桥梁，支持系统性、创造性的概念生成。
• 该方法通过共同的组合式架构，统一了空间语义与其他概念空间（例如颜色、味道），增强了意义表征中的具身性。