[论文解读] On Generalization Bounds of a Family of Recurrent Neural Networks

Minshuo Chen, Xingguo Li+1 more|arXiv (Cornell University)|Oct 28, 2019

Neural Networks and Applications参考文献 43被引用 19

一句话总结

本文在PAC-Learning框架下，利用经验Rademacher复杂度，为一类循环神经网络（包括普通RNN、门控循环单元MGU、长短期记忆网络LSTM以及卷积RNN）建立了泛化边界。通过利用权重矩阵的谱范数和参数数量，该研究推导出比以往工作更紧的边界，表明门控变体（如MGU和LSTM）相比普通RNN具有更优的泛化性能。

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely applied to sequential data analysis. Due to their complicated modeling structures, however, the theory behind is still largely missing. To connect theory and practice, we study the generalization properties of vanilla RNNs as well as their variants, including Minimal Gated Unit (MGU), Long Short Term Memory (LSTM), and Convolutional (Conv) RNNs. Specifically, our theory is established under the PAC-Learning framework. The generalization bound is presented in terms of the spectral norms of the weight matrices and the total number of parameters. We also establish refined generalization bounds with additional norm assumptions, and draw a comparison among these bounds. We remark: (1) Our generalization bound for vanilla RNNs is significantly tighter than the best of existing results; (2) We are not aware of any other generalization bounds for MGU, LSTM, and Conv RNNs in the exiting literature; (3) We demonstrate the advantages of these variants in generalization.

研究动机与目标

• 为解决循环神经网络（RNNs）在序列建模中广泛应用但其泛化能力缺乏理论理解的问题。
• 在PAC-Learning框架下，为普通RNN及其变体（MGU、LSTM、卷积RNN）建立严格的泛化边界。
• 比较不同RNN架构的泛化性能，识别门控单元的结构优势。
• 通过使用谱范数和参数数量改进现有泛化边界，避免逐层复杂度分析。

提出的方法

• 在PAC-Learning框架内，使用经验Rademacher复杂度（ERC）进行理论分析，以界定泛化误差。
• 通过解耦权重矩阵的谱范数与总参数数量，简化分析并提升边界紧致性。
• 通过限制权重矩阵和隐藏状态在序列间的差异，推导出隐藏状态和输出动态的Lipschitz连续性。
• 利用循环矩阵结构，对卷积RNN中权重矩阵的谱范数进行界定，从而实现更紧的泛化边界。
• 对隐藏状态的Lipschitz边界进行递归应用，得到泛化误差边界与序列长度和谱范数的依赖关系。
• 分析扩展至tanh等非线性激活函数，并通过范数假设处理有界输入范数。

实验结果

研究问题

• RQ1 普通RNN在泛化方面是否面临显著的维度灾难？
• RQ2 MGU和LSTM相比普通RNN在泛化方面具有哪些理论优势？
• RQ3 能否为理论研究较少的卷积RNN建立泛化边界？
• RQ4 谱范数与参数数量如何共同影响RNN中的泛化误差？

主要发现

• 普通RNN的泛化边界显著优于文献中已有的最佳结果。
• 这是首次为MGU、LSTM和卷积RNN建立泛化边界，填补了理论理解的关键空白。
• 卷积RNN的边界与序列长度、输入范数和谱范数相关，显式依赖于参数数量和深度。
• 分析表明，门控单元（MGU、LSTM）由于对隐藏状态动态具有更好的控制能力，表现出优于普通RNN的泛化特性。
• 卷积RNN的边界形式为 $\mathbb{P}(\widetilde{z}_t \neq z_t) \leq \widehat{\mathcal{R}}_\gamma(f_t) + O\left(\frac{B_x kt\sqrt{\log(dt\sqrt{m})}}{\sqrt{m}\gamma} + \sqrt{\frac{1}{m}}\right)$，显式体现了对序列长度和模型复杂度的依赖。
• 理论结果证实，权重矩阵的谱范数和总参数数量是RNN中泛化误差的关键决定因素。