[论文解读] The physical structure of grammatical correlations: equivalences, formalizations and consequences.

Ángel J. Gallego, Román Orús|arXiv (Cornell University)|Aug 4, 2017

Computational Physics and Python Applications被引用 4

一句话总结

本文提出了一种受物理学启发的语言句法结构形式化方法，表明乔姆斯基的MERGE操作对应于通过概率张量网络实现的信息粗粒化。该框架自然地产生了语言中的长程相关性，并实现了具有有界困惑度的高效量子可计算语言模型。

ABSTRACT

Here we consider some well-known facts in syntax from a physics perspective, allowing us to establish equivalences between both fields with many consequences. Mainly, we observe that the operation MERGE, put forward by N. Chomsky in 1995, can be interpreted as a physical information coarse-graining. Thus, MERGE in linguistics entails information renormalization in physics, according to different time scales. We make this point mathematically formal in terms of language models. In this setting, MERGE amounts to a probability tensor implementing a coarse-graining, akin to a probabilistic context-free grammar. The probability vectors of meaningful sentences are given by stochastic tensor networks (TN) built from diagonal tensors and which are mostly loop-free, such as Tree Tensor Networks and Matrix Product States, thus being computationally very efficient to manipulate. We show that this implies the polynomially-decaying (long-range) correlations experimentally observed in language, and also provides arguments in favour of certain types of neural networks for language processing. Moreover, we show how to obtain such language models from quantum states that can be efficiently prepared on a quantum computer, and use this to find bounds on the perplexity of the probability distribution of words in a sentence. Implications of our results are discussed across several ambits.

研究动机与目标

• 建立语言学句法操作与物理信息粗粒化过程之间的形式等价性。
• 使用无环且计算高效的随机张量网络（如树张量网络和矩阵乘积态）对有意义的句子进行建模。
• 通过这些张量网络的数学结构解释语言中实验观测到的长程相关性。
• 证明此类语言模型可被高效地在量子计算机上准备，并提供困惑度的边界。
• 基于物理原理，为自然语言处理中某些神经网络架构提供理论依据。

提出的方法

• 将语言学操作MERGE解释为一种概率信息粗粒化形式，类似于物理学中的重整化过程。
• 将句子概率向量形式化为由对角张量构建的随机张量网络，特别是树张量网络和矩阵乘积态。
• 利用这些张量网络的结构，推导出语言数据中多项式衰减（长程）相关性的出现。
• 将所得的语言模型映射为可在量子计算机上高效准备的量子态。
• 利用模型的物理和张量网络结构，推导出词概率分布困惑度的边界。
• 通过张量网络表示，建立形式语法与物理粗粒化过程之间的数学等价性。

实验结果

研究问题

• RQ1 语言学操作MERGE如何被正式映射到物理学过程（如信息粗粒化）？
• RQ2 语言模型张量网络结构自然产生何种统计相关性？与实证观测结果相比如何？
• RQ3 基于此框架的语言模型能否在量子计算机上高效实现？这对其复杂性施加了何种约束？
• RQ4 这一物理类比对自然语言处理中神经网络的设计与性能有何影响？
• RQ5 如何利用底层张量网络和量子态结构，对这类模型中的词预测困惑度进行边界限定？

主要发现

• 句法中的MERGE操作在形式上等价于物理上的信息粗粒化过程，特别是在跨时间尺度的重整化方面。
• 基于无环随机张量网络（如树张量网络和矩阵乘积态）的语言模型，自然产生多项式衰减（长程）相关性。
• 有意义句子的概率向量可表示为可在量子计算机上高效准备的量子态，从而在模型表示上实现量子优势。
• 该框架提供了明确的困惑度边界，源于张量网络和量子态结构，适用于词预测任务。
• 该模型为自然语言处理中某些神经网络架构的有效性提供了理论依据，基于其与物理粗粒化原理的一致性。
• 该形式化建立了形式语法与物理粗粒化之间的深刻数学等价性，统一了语言学、信息论与量子物理的概念。