[论文解读] The Mathematics of Text Structure

Bob Coecke|arXiv (Cornell University)|Apr 6, 2019

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了 DisCoCirc，一种受量子启发的范畴化框架，通过将词义视为电路结构中随时间演化的类型，以建模文本语义。句子作为门电路，用于更新这些词义。该框架在 DisCoCat 的基础上，实现了跨句子的动态、组合式语义演化，为整个文本生成统一的字符串图，适用于量子自然语言处理。

ABSTRACT

In previous work we gave a mathematical foundation, referred to as DisCoCat, for how words interact in a sentence in order to produce the meaning of that sentence. To do so, we exploited the perfect structural match of grammar and categories of meaning spaces. Here, we give a mathematical foundation, referred to as DisCoCirc, for how sentences interact in texts in order to produce the meaning of that text. First we revisit DisCoCat. While in DisCoCat all meanings are fixed as states (i.e. have no input), in DisCoCirc word meanings correspond to a type, or system, and the states of this system can evolve. Sentences are gates within a circuit which update the variable meanings of those words. Like in DisCoCat, word meanings can live in a variety of spaces e.g. propositional, vectorial, or cognitive. The compositional structure are string diagrams representing information flows, and an entire text yields a single string diagram in which word meanings lift to the meaning of an entire text. While the developments in this paper are independent of a physical embodiment (cf. classical vs. quantum computing), both the compositional formalism and suggested meaning model are highly quantum-inspired, and implementation on a quantum computer would come with a range of benefits. We also praise Jim Lambek for his role in mathematical linguistics in general, and the development of the DisCo program more specifically.

研究动机与目标

• 为句子意义如何组合形成文本整体意义提供数学基础，以填补分布语义学中的关键空白。
• 将词义建模为可演化的类型而非静态状态，从而通过句子处理实现动态更新。
• 在单一、连贯的形式系统中统一句子级组合与词级语义，支持经典与量子实现。
• 致敬吉姆·兰贝克在数学语言学领域的奠基性贡献，及其对 DisCo 计划与量子启发语义学的影响。

提出的方法

• 将词义表示为类型（系统）而非固定状态，使其意义可通过句子处理过程动态演化。
• 将句子建模为输入/输出过程（门），用于转换动态词类型的态，形成类似电路的组合结构。
• 使用字符串图表示信息流，整个文本以单个字符串图表示，由张量积与序列组合构成。
• 采用密度矩阵与谱分解表示并更新词义，从纯态推广至混合态。
• 应用盒-态对偶性与希尔伯特-施密特内积，计算文本相似性与蕴含关系。
• 利用量子启发形式系统（如紧闭性与预群语法）实现组合结构与计算效率。

实验结果

研究问题

• RQ1 如何以数学上严谨的方式将句子意义组合，以获得文本的整体意义？
• RQ2 当词义为动态而非静态时，句子意义的形式类型结构是什么？
• RQ3 在文本的句子序列中，词义如何实现有意义的演化？
• RQ4 DisCoCirc 的电路结构在何种意义上推广或包含 DisCoCat 框架？
• RQ5 量子计算机在实现 DisCoCirc 时具有哪些优势，特别是在空间与时间复杂度方面？

主要发现

• DisCoCirc 通过将词义建模为在句子处理中演化的动态类型，为文本级语义组合问题提供了通用解法。
• 该框架支持将整个文本表示为单一字符串图，其中句子意义作为作用于演化词类型的门。
• 使用密度矩阵与谱分解，使词义表示更加丰富且灵活，超越纯态的限制。
• 该模型支持标准 DisCoCat 操作，如通过结果态的内积计算相似性与蕴含关系。
• 量子实现可实现指数级空间节省，并具备潜在的速度提升，尤其适用于包含大量动态名词的文本。
• 该框架与现有 DisCoCat 方法完全兼容，当词义为静态时，DisCoCat 成为 DisCoCirc 的特例。