[论文解读] Strongly-Typed Recurrent Neural Networks

David Balduzzi, Muhammad Ghifary|arXiv (Cornell University)|Feb 6, 2016

Human Pose and Action Recognition参考文献 35被引用 16

一句话总结

本文通过应用量纲分析和函数式编程的原理，提出强类型循环神经网络（RNNs），以强制实现类型一致性，并将学习参数与依赖状态的计算分离。该方法生成了更简洁、更可解释的特征，且梯度行为更稳定。实验表明，尽管架构约束更强，其训练误差更低，且泛化性能与经典RNN（如LSTM和GRU）相当。

ABSTRACT

Recurrent neural networks are increasing popular models for sequential learning. Unfortunately, although the most effective RNN architectures are perhaps excessively complicated, extensive searches have not found simpler alternatives. This paper imports ideas from physics and functional programming into RNN design to provide guiding principles. From physics, we introduce type constraints, analogous to the constraints that forbids adding meters to seconds. From functional programming, we require that strongly-typed architectures factorize into stateless learnware and state-dependent firmware, reducing the impact of side-effects. The features learned by strongly-typed nets have a simple semantic interpretation via dynamic average-pooling on one-dimensional convolutions. We also show that strongly-typed gradients are better behaved than in classical architectures, and characterize the representational power of strongly-typed nets. Finally, experiments show that, despite being more constrained, strongly-typed architectures achieve lower training and comparable generalization error to classical architectures.

研究动机与目标

• 解决经典RNN中可解释性差和梯度行为不良的问题，这些问题通常源于其过于复杂且难以理解的结构。
• 通过借鉴物理学（量纲齐次性）和函数式编程（无状态学习组件、有状态固件）的原理，改进网络架构设计，以强制实现语义一致性。
• 基于线性代数和SVD构建一种新型类型系统，确保特征在时间步之间保持一致的语义。
• 证明强类型RNN在保持可分析性和可推理性的同时，能够实现与经典架构相当的性能。
• 探究更强的架构约束是否能带来更好的优化和泛化性能，从而挑战‘复杂性是性能必要条件’的假设。

提出的方法

• 基于具有正交基的向量空间定义类型系统，其中类型对应于子空间，特征变换保持类型结构。
• 引入强类型更新规则，维持量纲齐次性，防止时间步之间出现语义不一致的特征混合。
• 将RNN分解为无状态学习组件（学习参数）和有状态固件（依赖状态的计算），减少副作用并改善梯度行为。
• 对一维卷积应用动态平均池化，以语义方式解释学习到的特征，从而支持对表示的代数操作。
• 通过修改标准更新方程以保持类型结构，构建LSTM（T-LSTM）和GRU（T-GRU）的强类型变体。
• 使用Dropout正则化以稳定训练，尤其对性能欠佳的T-GRU而言，充分的正则化至关重要。

实验结果

研究问题

• RQ1 在RNN中强制实现类型一致性，是否能带来比经典架构更可解释且行为更稳定的特征？
• RQ2 将学习参数与依赖状态的计算分离，是否能改善梯度动态和训练稳定性？
• RQ3 尽管受到更强约束，强类型RNN是否仍能实现与LSTM和GRU相当的泛化性能？
• RQ4 强类型RNN的表征能力与经典RNN相比如何？在类型约束下，其表征能力是否得以保持？
• RQ5 强类型架构是否能支持对学习特征的代数推理，从而为未来机器推理系统提供支持？

主要发现

• 强类型RNN在相同参数预算下，训练误差始终低于经典LSTM和GRU，表明其具有更强的表征能力。
• 在PTB语言建模任务中，经过适当Dropout正则化后，T-LSTM的性能与标准LSTM相当。
• 三层T-LSTM在性能上略胜标准LSTM，表明更深架构可能带来性能提升。
• T-LSTM在未使用梯度裁剪的情况下梯度表现良好，而标准LSTM则需依赖梯度裁剪以避免梯度爆炸——这表明T-LSTM具有更优的优化稳定性。
• 由于非线性激活函数更少，T-LSTM和T-GRU的训练速度分别比其经典对应模型快约1.6倍和1.4倍。
• 尽管结构更简单，强类型RNN仍可通过动态平均池化实现对特征的一致语义解释，从而支持代数推理。