[论文解读] Mutual Information Scaling and Expressive Power of Sequence Models

Huitao Shen|arXiv (Cornell University)|May 10, 2019

Neural Networks and Applications参考文献 54被引用 9

一句话总结

本文研究了序列模型中互信息的时间尺度特性，表明像RNN和LSTM这样的循环网络的互信息随时间距离呈指数衰减，而Transformer则能有效捕捉长程的、幂律衰减的依赖关系。研究结果表明，由于注意力机制能够实现持久的长程信息流动，Transformer更适合建模具有缓慢衰减相关性的自然序列（如语言和股价），因此在表达能力上更优。

ABSTRACT

Sequence models assign probabilities to variable-length sequences such as natural language texts. The ability of sequence models to capture temporal dependence can be characterized by the temporal scaling of correlation and mutual information. In this paper, we study the mutual information of recurrent neural networks (RNNs) including long short-term memories and self-attention networks such as Transformers. Through a combination of theoretical study of linear RNNs and empirical study of nonlinear RNNs, we find their mutual information decays exponentially in temporal distance. On the other hand, Transformers can capture long-range mutual information more efficiently, making them preferable in modeling sequences with slow power-law mutual information, such as natural languages and stock prices. We discuss the connection of these results with statistical mechanics. We also point out the non-uniformity problem in many natural language datasets. We hope this work provides a new perspective in understanding the expressive power of sequence models and shed new light on improving the architecture of them.

研究动机与目标

• 理解RNN和Transformer等序列模型在捕捉长程时间依赖关系方面的扩展特性。
• 研究循环网络与自注意力网络中互信息的尺度行为，尤其关注自然语言及其他幂律相关序列的关系。
• 识别RNN在建模长程相关性方面的架构局限性，并与Transformer的表达能力进行比较。
• 将研究发现与统计力学相联系，特别是短程相互作用与临界性在模型行为中的作用。
• 指出自然语言数据集中非均匀性问题，该问题可能阻碍长程依赖关系的学习。

提出的方法

• 对线性RNN进行理论分析，推导出互信息随时间距离呈指数衰减的特性。
• 通过实证评估非线性RNN（包括LSTM）来验证实际中互信息的指数衰减特性。
• 使用真实世界数据集与合成模型，对比RNN与Transformer在互信息尺度上的差异。
• 运用统计力学概念，特别是伊辛模型，类比物理系统与序列模型之间的关系。
• 推导伊辛模型中的条件分布，表明近邻相互作用导致类似一元语法模型的行为，且互信息呈指数衰减。
• 应用贝叶斯定理与配分函数的运算，分析条件概率及其对历史的依赖性。

实验结果

研究问题

• RQ1 在LSTM等循环神经网络中，互信息如何随时间距离变化？
• RQ2 当互信息呈幂律衰减时，Transformer是否能比RNN更有效地捕捉长程依赖关系？
• RQ3 序列模型中互信息的尺度特性与统计力学中的概念（如临界性与短程相互作用）之间有何联系？
• RQ4 为何尽管具有循环结构，RNN仍难以建模具有幂律长程相关性的自然序列？
• RQ5 自然语言数据集中数据分布的非均匀性如何影响序列模型学习长程依赖关系？

主要发现

• 线性RNN中的互信息随时间距离呈指数衰减，与理论预测一致。
• 实证结果证实，非线性RNN（包括LSTM）也表现出指数衰减的互信息，限制了其建模长程依赖关系的能力。
• Transformer能够高效捕捉具有幂律衰减的长程互信息，使其更适合建模语言和股价等自然序列。
• 对近邻伊辛模型的理论分析表明，此类系统的行为类似于一元语法模型，互信息呈指数衰减，支持RNN的研究发现。
• 本研究识别出自然语言数据集中存在非均匀性问题，即训练集与验证集在统计特性上存在差异，可能损害长程依赖关系的学习。
• 结果表明，架构设计——尤其是注意力机制——在实现对缓慢衰减相关性序列的表达能力方面起着关键作用。