[论文解读] Neural Networks and the Chomsky Hierarchy

Grégoire Delétang, Anian Ruoss+9 more|arXiv (Cornell University)|Jul 5, 2022

Ferroelectric and Negative Capacitance Devices被引用 45

一句话总结

简要结论：一项广泛的实证研究，通过在 Chomsky 层级上测试神经网络架构（RNN、LSTM、Transformer，以及记忆增强变体）的泛化能力，将它们应用于形式语言转换任务，结果显示记忆增强模型能够达到更高层次的泛化，而纯 Transformer/LSTM 存在局限性。

ABSTRACT

Reliable generalization lies at the heart of safe ML and AI. However, understanding when and how neural networks generalize remains one of the most important unsolved problems in the field. In this work, we conduct an extensive empirical study (20'910 models, 15 tasks) to investigate whether insights from the theory of computation can predict the limits of neural network generalization in practice. We demonstrate that grouping tasks according to the Chomsky hierarchy allows us to forecast whether certain architectures will be able to generalize to out-of-distribution inputs. This includes negative results where even extensive amounts of data and training time never lead to any non-trivial generalization, despite models having sufficient capacity to fit the training data perfectly. Our results show that, for our subset of tasks, RNNs and Transformers fail to generalize on non-regular tasks, LSTMs can solve regular and counter-language tasks, and only networks augmented with structured memory (such as a stack or memory tape) can successfully generalize on context-free and context-sensitive tasks.

研究动机与目标

• 评估标准神经网络和记忆增强神经网络在跨越 Chomsky 层级的序列转换任务中的泛化能力。
• 确定哪些架构在梯度训练下能够学习对正规语言、无上下文文法、上下文相关语言以及递归可枚举语言所需的算法。
• 识别失败模式并提出记忆增强作为实现更高层次泛化的路径。

提出的方法

• 定义输入/输出语言并构建跨越 Chomsky 层级的一系列序列转换任务。
• 在广泛的模型（RNN、LSTM、Transformer、Stack-RNN、Tape-RNN）上进行梯度学习，将输入映射到输出。
• 在非自回归设置中使用虚拟标记信号输入结束，并对输出序列计算交叉熵损失。
• 通过对分布外的更长序列（N+1 到 M）进行泛化测试来评估泛化能力，报告每个任务的准确率。
• 分析内部表示与记忆动力学以解释学习到的算法（如栈/磁带的使用）。
• 公开基准、模型和任务以实现可重复性。

实验结果

研究问题

• RQ1 标准和记忆增强的神经网络是否能够在每个 Chomsky 层级的任务长度超过训练长度时进行泛化？
• RQ2 哪些架构（RNN、LSTM、Transformer、Stack-RNN、Tape-RNN）能够在梯度训练下解决对应正规、上下文无关、上下文相关和递归可枚举语言的任务？
• RQ3 记忆增强（栈、磁带）是否能实现对正规语言之外的泛化，如可达到何种程度？
• RQ4 Transformer 在不同位置编码下对非置换不变任务的适应性如何，能否外推到更长的序列？

主要发现

• RNN 能泛化到正规语言；Stack-RNN 能扩展到上下文无关；Tape-RNN 能达到上下文相关级别；某些任务即使有记忆增强也仍然具有挑战性。
• Transformer 在置换不变的任务（如 Bucket Sort）上表现出色，但在层级中的许多非置换不变任务上会失败，并且由于位置编码的原因在长序列外推方面可能遇到困难。
• LSTM 在计数相关任务上优于原生 RNN，能够实现一些更高层次的泛化（如 Bucket Sort），超越单纯的 RNN。
• 记忆增强模型展示了可解释的策略：Stack-RNN 为 DCF 任务学习出栈式解；Tape-RNN 显示出基于磁带的操作以应对 CS 任务。
• 即使容量充足，单靠增加数据也不能保证对更高层次任务的泛化；需要结构化的记忆才能实现更高层次的泛化。
• 该研究提供了一个公开基准，用于压力测试序列泛化，并凸显了梯度基学习在算法性任务上的基本极限。