[论文解读] Tensor network language model

Vasily Pestun, Yiannis Vlassopoulos|arXiv (Cornell University)|Oct 27, 2017

Tensor decomposition and applications参考文献 37被引用 11

一句话总结

本文提出了一种基于树状拓扑结构的等距张量网络语言模型，以捕捉自然语言中的长程相关性，其灵感来源于统计物理中的重整化群流。该模型通过分层结构实现临界性，从而在高层‘语义’层通过幺正变换实现有效的语言建模与统计翻译。

ABSTRACT

We propose a new statistical model suitable for machine learning of systems with long distance correlations such as natural languages. The model is based on directed acyclic graph decorated by multi-linear tensor maps in the vertices and vector spaces in the edges, called tensor network. Such tensor networks have been previously employed for effective numerical computation of the renormalization group flow on the space of effective quantum field theories and lattice models of statistical mechanics. We provide explicit algebro-geometric analysis of the parameter moduli space for tree graphs, discuss model properties and applications such as statistical translation.

研究动机与目标

• 解决传统模型（如隐马尔可夫模型）因指数衰减（能隙）而无法捕捉自然语言中长程相关性的问题，这与真实语言中观测到的幂律衰减相矛盾。
• 通过利用分层张量网络结构，开发一种自然表现出临界性的统计语言模型，以匹配自然语言中观测到的幂律互信息衰减（I(l) ∝ l⁻⁰.³⁷）。
• 通过识别重整化群流红外（IR）尺度下的共同‘语义’层，实现不同语言之间的统计翻译，假设不同语言属于同一普遍类。
• 为等距张量网络的参数模空间（特别是树图）提供一个几何与代数几何框架，利用旗流形和微分几何进行分析。
• 建立一种理论基础，用于张量网络语言模型中的学习与采样，通过在网络结构上应用类似反向传播的规则，实现高效的递归计算与梯度计算。

提出的方法

• 模型使用有向无环图（DAG），在顶点处采用多线性等距张量映射，在边上定义向量空间，形成保持范数的等距纯态张量网络，实现分层组合中的保范性。
• 通过树结构的递归组合构建网络：词态在高层组合为句子态，模拟统计场论中的重整化群流。
• 通过内积 ⟨Ψ|o_s₁…sₖ|Ψ⟩ 计算句子的概率，其中 o_s₁…sₖ 是固定前 k 个词的投影算符，支持自回归生成与学习。
• 通过在组合映射上应用链式法则（反向传播）对张量网络参数进行梯度下降学习，梯度通过沿网络递归结构的反向拉动（pullback）计算。
• 通过在每个叶节点递归评估态向量并基于振幅分布 |ψ_s|² 生成序列，实现采样，从而获得完整句子的 probabilistic 输出。
• 在翻译中，通过在两个语言网络的高层‘语义’层（IR 尺度）之间应用幺正变换 S₂₁，将语言 L₁ 中的状态映射为 L₂ 中状态的叠加，其概率为 |ψ_s|²。

实验结果

研究问题

• RQ1 具有树状拓扑与等距映射的张量网络模型能否重现自然语言中观测到的互信息幂律衰减（I(l) ∝ l⁻⁰.³⁷），而传统能隙模型则不能？
• RQ2 等距张量网络的参数模空间如何从几何上描述，特别是针对树图？这对模型表达能力与学习意味着什么？
• RQ3 是否能在重整化群流的红外（IR）尺度上识别出一个通用的‘语义’层，使得不同的人类语言属于同一临界普遍类？
• RQ4 该模型在多大程度上可通过在高层层面对不同语言的等距张量网络施加幺正变换，实现统计翻译？
• RQ5 鉴于网络的分层与递归结构，如何实现该模型中高效的学习与采样？

主要发现

• 该模型通过表现出幂律互信息衰减（I(l) ∝ l⁻⁰.³⁷）成功捕捉了自然语言中的长程相关性，与《白鲸记》和格林童话等文本中的实证测量结果一致。
• 树状结构的等距张量网络为参数模空间提供了几何框架，其被识别为旗流形，从而支持对模型参数的代数几何分析。
• 该模型通过在高层‘语义’层对两个语言网络施加幺正变换 S₂₁，实现了统计翻译，生成具有关联概率的翻译短语叠加态。
• 通过在树结构上递归评估，高效实现了模型采样，序列概率由投影到词序列后态向量的范数导出。
• 通过在组合映射上应用链式法则（反向传播）实现高效学习，局部梯度通过沿网络结构的递归结构反向拉动切向量计算。
• 该模型表明，所有人类自然语言可能在重整化群流的红外尺度下属于同一临界普遍类，支持语言多样性背后存在共享语义或概念层的设想。