[论文解读] Subregular Complexity and Deep Learning

Enes Avcu, Chihiro Shibata+1 more|arXiv (Cornell University)|May 16, 2017

Machine Learning and Algorithms参考文献 30被引用 21

一句话总结

本文研究了简单循环神经网络（s-RNNs）和长短期记忆网络（LSTMs）学习子正则形式语言——严格局部（SL）和严格分段（SP）——的能力，分别编码局部依赖和长期依赖。与深度学习领域普遍认为LSTM在长期依赖任务上优于s-RNNs的观点相反，实验结果表明，s-RNNs在复杂SP语言上的表现往往与LSTM相当甚至更优，挑战了关于LSTM在序列学习中具有优越性的既有假设。

ABSTRACT

This paper argues that the judicial use of formal language theory and grammatical inference are invaluable tools in understanding how deep neural networks can and cannot represent and learn long-term dependencies in temporal sequences. Learning experiments were conducted with two types of Recurrent Neural Networks (RNNs) on six formal languages drawn from the Strictly Local (SL) and Strictly Piecewise (SP) classes. The networks were Simple RNNs (s-RNNs) and Long Short-Term Memory RNNs (LSTMs) of varying sizes. The SL and SP classes are among the simplest in a mathematically well-understood hierarchy of subregular classes. They encode local and long-term dependencies, respectively. The grammatical inference algorithm Regular Positive and Negative Inference (RPNI) provided a baseline. According to earlier research, the LSTM architecture should be capable of learning long-term dependencies and should outperform s-RNNs. The results of these experiments challenge this narrative. First, the LSTMs' performance was generally worse in the SP experiments than in the SL ones. Second, the s-RNNs out-performed the LSTMs on the most complex SP experiment and performed comparably to them on the others.

研究动机与目标

• 评估文献中声称的LSTM在学习长期依赖方面真正优于s-RNNs的说法是否成立。
• 应用形式语言理论与语法推断方法，构建受控且系统的基准测试，以评估神经网络的学习能力。
• 研究RNNs在序列长度超过训练数据范围时的泛化行为，使用受控词长的测试集进行评估。
• 评估主流叙事中关于LSTM能解决梯度消失问题且天生更适合学习长期依赖的局限性。
• 探究如Adam等优化技术是否能缓解s-RNNs在长期依赖任务上的困难。

提出的方法

• 本研究采用六种形式语言——三种来自严格局部（SL）类，三种来自严格分段（SP）类，分别代表局部依赖与长期依赖。
• 为每种语言构建了训练集与测试集，通过受控的词长设计以评估模型在训练序列之外的泛化能力。
• 对两类RNNs——简单RNNs（s-RNNs）与长短期记忆网络（LSTMs）——在不同隐藏层大小下，基于正负样本进行训练。
• 正则正负推理（RPNI）算法被用作基线，以评估数据质量与正则语言学习的可行性。
• 实验系统性地调整网络规模，并采用Adam优化算法评估其对学习性能的影响。
• 性能通过测试集上的准确率进行衡量，分别对泛化至更长序列的情况（Test1与Test2）进行独立评估。

实验结果

研究问题

• RQ1 LSTM是否在学习严格分段（SP）语言中编码的长期依赖方面始终优于s-RNNs？
• RQ2 s-RNNs与LSTMs在子正则语言任务中，对长于训练数据的序列泛化能力如何？
• RQ3 语法推断算法RPNI在多大程度上可作为评估神经网络学习形式语言能力的可靠基线？
• RQ4 如Adam等优化技术能否缓解s-RNNs与LSTMs在长期依赖任务上的性能差距？
• RQ5 是否存在超越SP类的长期依赖类型，使得LSTM能明显优于s-RNNs？

主要发现

• 在最复杂的SP语言SP8上，s-RNN表现优于LSTM，分别在Test1与Test2上取得0.8160与0.7702的准确率（1k隐藏单元），而LSTM仅达到0.6520与0.6201。
• 在SP2上，s-RNN在10k隐藏单元下分别取得0.8371与0.8449的准确率，优于LSTM的0.8400与0.8264。
• 在SP4上，s-RNN在1k单元下分别取得0.8160与0.7702的准确率，而LSTM仅达到0.7270与0.6808，表明s-RNN在复杂SP任务中具有持续优势。
• 在SP8上使用10万隐藏单元时，s-RNN分别取得0.8251与0.7505的准确率，LSTM则为0.8117与0.7645，显示性能相当但未占优。
• LSTM在SP语言上的表现普遍低于SL语言，与预期相反——即LSTM因架构优势应表现相当或更优。
• RPNI基线在所有语言上均达到完美准确率（1.0000），证实数据可被正则语言学习者正确学习，表明神经网络的失败并非源于数据质量问题。