[论文解读] State-Regularized Recurrent Neural Networks

Cheng Wang, Mathias Niepert|arXiv (Cornell University)|Jan 25, 2019

Machine Learning and Algorithms参考文献 61被引用 9

一句话总结

本文提出状态正则化的循环神经网络（sr-RNN），通过随机状态转移机制将隐藏状态约束在可学习的状态有限集合中，提升了模型的可解释性与长期记忆能力。该方法可从训练好的模型中精确提取确定性有限自动机（DFAs），并通过将记忆从隐藏状态转移到细胞状态，提升了平衡括号和复制任务等任务的外推能力。

ABSTRACT

Recurrent neural networks are a widely used class of neural architectures. They have, however, two shortcomings. First, it is difficult to understand what exactly they learn. Second, they tend to work poorly on sequences requiring long-term memorization, despite having this capacity in principle. We aim to address both shortcomings with a class of recurrent networks that use a stochastic state transition mechanism between cell applications. This mechanism, which we term state-regularization, makes RNNs transition between a finite set of learnable states. We evaluate state-regularized RNNs on (1) regular languages for the purpose of automata extraction; (2) nonregular languages such as balanced parentheses, palindromes, and the copy task where external memory is required; and (3) real-word sequence learning tasks for sentiment analysis, visual object recognition, and language modeling. We show that state-regularization (a) simplifies the extraction of finite state automata modeling an RNN's state transition dynamics; (b) forces RNNs to operate more like automata with external memory and less like finite state machines; (c) makes RNNs have better interpretability and explainability.

研究动机与目标

• 解决标准RNN在长序列任务中可解释性差和外推能力有限的问题。
• 简化并提高从训练好的RNN中提取有限状态自动机（DFA）的准确性。
• 通过将表征能力转移到细胞状态，减少对隐藏状态的记忆依赖。
• 使RNN的行为更像具有外部记忆的自动机，而非有限状态机。
• 在不牺牲真实世界序列任务性能的前提下提升模型的可解释性。

提出的方法

• 引入细胞状态之间的随机状态转移机制，建模有限可学习状态集合中的概率转移。
• 使用端到端可微优化，联合训练状态转移参数与基础RNN参数。
• 通过隐藏状态的质心聚类定义离散状态，实现对学习动态的直接DFAs提取。
• 对LSTM和GRU应用状态正则化，修改隐藏状态更新机制，使其更倾向于在预定义状态间转移。
• 采用概率转移函数，将当前状态和输入映射为下一状态的概率分布，实现随机但结构化的状态演化。
• 可精确提取忠实反映RNN状态转移行为的确定性有限自动机（DFAs），优于事后聚类方法。

实验结果

研究问题

• RQ1 状态正则化的RNN能否实现从训练模型中更准确、更直接地提取有限状态自动机？
• RQ2 状态正则化是否能提升在需要记忆的长序列任务中的泛化与外推能力？
• RQ3 状态正则化在多大程度上将记忆从隐藏状态转移到LSTM的细胞状态？
• RQ4 随机状态转移机制如何影响模型的可解释性与可解释性？
• RQ5 sr-RNN能否在真实世界NLP与视觉任务中实现具有竞争力的性能，同时具备更高的可解释性？

主要发现

• 状态正则化的LSTM将记忆完全从隐藏状态转移到细胞状态，减少了非结构化记忆。
• 该方法可精确提取忠实建模RNN状态转移动态的确定性有限自动机（DFAs），优于训练后聚类方法。
• sr-RNN在平衡括号、回文和复制任务等合成任务上的外推能力显著提升。
• 在情感分析和语言建模等真实世界任务中，sr-RNN实现了具有竞争力的性能，同时可解释性得到改善。
• sr-RNN的计算开销适中，但训练时间仍较长，且收敛速度并未一致提升。
• 该方法使RNN的行为更像具有外部记忆的自动机，降低了其作为有限状态机运行的倾向。