[论文解读] On Evaluating the Generalization of LSTM Models in Formal Languages

Mirac Süzgün, Yonatan Belinkov+1 more|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 17被引用 6

一句话总结

本文通过在整个训练和测试过程中监控所有序列长度的性能，评估LSTM模型在学习形式语言（如 $a^n b^n$、$a^n b^n c^n$ 和 $a^n b^n c^n d^n$）时的泛化能力。研究发现，数据分布、训练长度窗口和模型容量显著影响泛化性能，其中过参数化的模型由于协同计数机制表现出更好的稳定性，而权重初始化虽在损失值相近时仍强烈影响收敛性。

ABSTRACT

Recurrent Neural Networks (RNNs) are theoretically Turing-complete and established themselves as a dominant model for language processing. Yet, there still remains an uncertainty regarding their language learning capabilities. In this paper, we empirically evaluate the inductive learning capabilities of Long Short-Term Memory networks, a popular extension of simple RNNs, to learn simple formal languages, in particular $a^nb^n$, $a^nb^nc^n$, and $a^nb^nc^nd^n$. We investigate the influence of various aspects of learning, such as training data regimes and model capacity, on the generalization to unobserved samples. We find striking differences in model performances under different training settings and highlight the need for careful analysis and assessment when making claims about the learning capabilities of neural network models.

研究动机与目标

• 探究LSTM模型在标准固定测试集评估之外，对形式语言（如 $a^n b^n$、$a^n b^n c^n$ 和 $a^n b^n c^n d^n$）中未观测序列的泛化能力。
• 解决先前评估中依赖有限测试集、固定长度阈值或均匀数据分布的局限性。
• 研究数据分布、训练长度窗口和模型容量对泛化性能与稳定性的影响力。
• 分析权重初始化和隐藏状态动态在学习计数行为与收敛性中的作用。
• 提出一种更细致的评估协议，以在整个训练过程中并针对所有序列长度追踪泛化表现。

提出的方法

• 作者在每个训练周期监控LSTM性能，通过按递增长度顺序测试序列，直到模型犯下 $k$ 个错误来评估泛化能力。
• 通过按长度枚举所有序列，避免使用固定长度的测试集，以评估跨所有长度的泛化能力。
• 在四种数据分布模式下进行训练：均匀分布、几何分布、U形分布和偏斜分布，以评估其对泛化的影响。
• 改变训练长度窗口（例如 [1,50]、[1,100]），研究其范围对泛化至更长或更短序列的影响。
• 通过调整隐藏单元数量来改变模型容量，并在理论上足够和过参数化设置之间进行比较。
• 可视化隐藏状态激活动态，以分析计数行为，尤其关注过参数化模型中的表现。

实验结果

研究问题

• RQ1 数据分布选择（均匀、几何、U形、偏斜）如何影响LSTM模型在形式语言上的泛化性能？
• RQ2 扩大训练长度窗口在多大程度上能提升对更长序列的泛化能力？它是否也增强了对较短序列的性能？
• RQ3 增加模型容量（隐藏单元数量）是否能改善泛化，还是主要影响训练稳定性？
• RQ4 权重初始化如何影响收敛性和泛化，尤其是在不同运行中损失值收敛相似的情况下？
• RQ5 隐藏状态动态在何种程度上促进了LSTM学习形式语言计数机制？

主要发现

• U形分布和离散均匀分布的数据分布在整个测试语言中始终表现出最佳的泛化性能，优于几何分布和偏斜分布。
• 扩大训练长度窗口显著提升了对更长序列的泛化能力，且出人意料的是，训练于更长序列的模型在更短序列上也表现出更好的泛化能力。
• 具有更多隐藏单元的过参数化LSTM在训练过程中表现出更高的稳定性，并展现出更一致的泛化性能，即使其最终准确率并非总是更高。
• 在过参数化模型中，一种协同计数机制浮现出来：多个隐藏单元协同工作以追踪序列长度，表现为在特定时间步的激活模式同步。
• 尽管损失收敛相似，不同的随机权重初始化却导致截然不同的泛化结果，表明收敛并不意味着具备相同的归纳能力。
• 模型泛化失败通常源于生成了仍反映部分计数行为的错误输出序列，例如生成 $a^{1000}b^{996}\dashv^4$ 而非正确的 $a^{1000}b^{999}\dashv$，表明即使在失败案例中，仍存在残余的计数机制。