[论文解读] On the Computational Power of RNNs

Samuel A. Korsky, Robert C. Berwick|arXiv (Cornell University)|Jun 14, 2019

Machine Learning and Algorithms参考文献 13被引用 19

一句话总结

本文確立了實用循環神經網絡（RNNs）與門控循環單元（GRUs）的計算極限。研究證明，具有 ReLU 激活函數的有限精度 RNN 與確定性有限自動機（DFAs）等價，而具有 ReLU 激活函數的無限精度 RNN 則能識別上下文有關語言（等價於堆疊自動機）。具有無限精度與非線性輸出的 GRUs 同樣具備堆疊自動機的計算能力，顯示標準架構在理論上可捕捉語言中的層次結構。

ABSTRACT

Recent neural network architectures such as the basic recurrent neural network (RNN) and Gated Recurrent Unit (GRU) have gained prominence as end-to-end learning architectures for natural language processing tasks. But what is the computational power of such systems? We prove that finite precision RNNs with one hidden layer and ReLU activation and finite precision GRUs are exactly as computationally powerful as deterministic finite automata. Allowing arbitrary precision, we prove that RNNs with one hidden layer and ReLU activation are at least as computationally powerful as pushdown automata. If we also allow infinite precision, infinite edge weights, and nonlinear output activation functions, we prove that GRUs are at least as computationally powerful as pushdown automata. All results are shown constructively.

研究动机与目标

• 確定實務中常用標準 RNN 與 GRU 的理論計算能力，特別是在自然語言處理（NLP）中的應用。
• 探討這些模型是否能識別上下文有關語言，例如具有嵌套或平衡結構的語言。
• 釐清激活函數、精度與架構在決定計算表達能力中的角色。
• 彙整 NLP 中的實證成功與這些模型實際計算能力的理論理解之間的差距。

提出的方法

• 從有限精度 RNN 的隱藏狀態建構有限自動機，以證明其與確定性有限自動機（DFAs）的等價性。
• 使用構造性證明，顯示無限精度 RNN 搭配 ReLU 激活函數可模擬堆疊自動機（PDAs）。
• 證明具有無限精度、無限邊權重與非線性輸出函數的 GRUs 同樣可模擬 PDAs。
• 分析隱藏狀態在輸入序列上的演化過程，以說明 RNN 與 GRUs 如何維持與更新狀態資訊以進行語言識別。
• 定義透過預先設定集合 S 中的最終輸出值來決定接受，進而實現形式語言識別。
• 應用自動機理論中的理論模型，分析神經網絡架構的計算容量。

实验结果

研究问题

• RQ1 具有 ReLU 激活函數的有限精度 RNN 是否能識別所有正則語言？
• RQ2 當精度受限制時，標準 RNN 的計算能力是否存在理論極限？
• RQ3 具有 ReLU 激活函數的無限精度 RNN 是否能識別上下文有關語言，例如 Dyck 語言？
• RQ4 具有標準激活函數與無限精度的 GRUs 是否達成堆疊自動機的表達能力？
• RQ5 RNN 或 GRU 要模擬 PDAs，其架構或精度需具備哪些條件？

主要发现

• 具有 ReLU 激活函數與單一隱藏層的有限精度 RNN，其計算能力恰好與確定性有限自動機（DFAs）等價。
• 具有 ReLU 激活函數的無限精度 RNN 至少與堆疊自動機（PDAs）一樣強大，意味著它們能識別上下文有關語言。
• 具有無限精度、無限邊權重與非線性輸出函數的 GRUs 同樣至少與 PDAs 一樣強大。
• 證明過程具構造性，明確展示可模擬 PDAs 的網路配置，適用於如 a^n b^n 之類的語言。
• 此結果在標準的序列輸入處理與常見激活函數假設下成立，與先前研究需特殊激活函數不同。
• 本研究明確指出，當提供足夠精度時，標準 RNN 與 GRUs 在理論上可模擬語言中的層次結構。