[论文解读] On the Practical Computational Power of Finite Precision RNNs for Language Recognition

Gail Garfinkel Weiss, Yoav Goldberg+1 more|arXiv (Cornell University)|May 13, 2018

Neural Networks and Applications被引用 6

一句话总结

本文研究了有限精度RNN在语言识别中的实际计算能力，表明由于门控机制的存在，LSTM和基于ReLU的Elman-RNN能够实现无界计数，而GRU和压缩激活RNN则不能。关键贡献在于证明了在输入受限和有限精度约束下，LSTM能够识别上下文有关语言（如 $a^n b^n c^n$），而GRU仍为有限状态机，无法完成此类任务。

ABSTRACT

While Recurrent Neural Networks (RNNs) are famously known to be Turing complete, this relies on infinite precision in the states and unbounded computation time. We consider the case of RNNs with finite precision whose computation time is linear in the input length. Under these limitations, we show that different RNN variants have different computational power. In particular, we show that the LSTM and the Elman-RNN with ReLU activation are strictly stronger than the RNN with a squashing activation and the GRU. This is achieved because LSTMs and ReLU-RNNs can easily implement counting behavior. We show empirically that the LSTM does indeed learn to effectively use the counting mechanism.

研究动机与目标

• 在现实NLP训练约束（如线性计算时间与32位浮点精度）下，分析有限精度RNN的计算能力。
• 确定不同RNN变体（LSTM、GRU、ReLU-RNN与压缩-RNN）在识别上下文有关语言（如 $a^n b^n c^n$）方面的能力差异。
• 研究反向传播训练的RNN是否能在实际中学习并利用显式计数机制，尤其是在有限精度约束下。
• 正式证明：即使使用辅助维度，具有压缩激活的SRNN也无法实现双向二进制计数器，而LSTM和ReLU-RNN可以。
• 提供实证证据表明，LSTM在其隐藏状态中学习并使用专门的计数维度，而GRU则不会。

提出的方法

• 本研究聚焦于输入受限的有限精度RNN（IBFP-RNN），其中计算时间与输入长度呈线性关系，且状态以32位浮点精度表示。
• 理论分析证明：使用压缩激活（如tanh）的Elman-RNN无法实现双向二进制计数器，原因在于tanh函数与线性变换的符号保持特性。
• 证明采用反证法：假设存在一个在输入'up'时递增、在输入'down'时递减的计数器，将导致偏差差 $b_{up} - b_{down}$ 的符号要求相互矛盾，违反线性性。
• 实证评估在 $a^n b^n$ 和 $a^n b^n c^n$ 语言上训练LSTM与GRU，并通过可视化隐藏状态激活，表明LSTM使用特定维度进行计数。
• 分析进一步扩展至ReLU-RNN，表明其可模拟k计数器机，因此在计算能力上优于压缩-RNN。
• 在LSTM、GRU、ReLU-RNN与压缩-RNN之间进行理论与实证比较，重点分析其在有限精度下模拟无界计数的能力。

实验结果

研究问题

• RQ1 有限精度、输入受限的RNN在反向传播训练下能否识别上下文有关语言（如 $a^n b^n c^n$）？
• RQ2 在有限精度约束下，LSTM与ReLU-RNN是否比GRU与压缩-RNN具有更强的计算能力？
• RQ3 LSTM是否能在训练过程中学习并利用隐藏状态中的显式计数机制，其激活模式可作为证据？
• RQ4 理论上是否不可能实现具有压缩激活的Elman-RNN来构建一致的双向计数器，即使使用辅助维度？
• RQ5 LSTM中的门控机制是否使其具备无界计数能力，而GRU在相同约束下仍保持为有限状态？

主要发现

• 在有限精度与输入受限约束下，LSTM与基于ReLU的Elman-RNN能够实现无界计数，从而支持对上下文有关语言（如 $a^n b^n c^n$）的识别。
• GRU与压缩激活Elman-RNN无法实现双向二进制计数器，原因在于tanh激活函数与线性变换的符号保持特性，使其为有限状态机。
• 实证结果表明，LSTM在训练中学会将特定隐藏状态维度专门用于计数，其在 $a^n b^n$ 与 $a^n b^n c^n$ 序列上的激活模式具有明显区分性。
• 理论分析证明：即使增加额外维度，任何具有压缩激活的Elman-RNN都无法实现一致的双向计数器，原因在于偏差差中的符号要求存在矛盾。
• ReLU-RNN与LSTM一样，可模拟k计数器机，因此在计算能力上优于压缩-RNN，尽管其未显式设置门控机制。
• 研究结果表明，LSTM在需要计数的任务（如处理线性化句法树）中具有独特优势，这或许可解释其在相关NLP应用中的实证成功。