[论文解读] Provably Stable Interpretable Encodings of Context Free Grammars in RNNs with a Differentiable Stack.

John Stogin, Ankur Mali+1 more|arXiv (Cornell University)|Jun 5, 2020

Machine Learning and Algorithms参考文献 66被引用 4

一句话总结

该论文提出了一种可微分的、可证明轨道稳定的RNN，其具有专门设计的栈架构，可直接编码上下文无关文法（CFG）规则，使模型能够学习并近似下推自动机（PDA）行为，实现语法推断。该方法确保了长序列处理的稳定性，并允许从学习到的权重中可解释地提取PDA转移和栈操作。

ABSTRACT

Given a collection of strings belonging to a context free grammar (CFG) and another collection of strings not belonging to the CFG, how might one infer the grammar? This is the problem of grammatical inference. Since CFGs are the languages recognized by pushdown automata (PDA), it suffices to determine the state transition rules and stack action rules of the corresponding PDA. An approach would be to train a recurrent neural network (RNN) to classify the sample data and attempt to extract these PDA rules. But neural networks are not a priori aware of the structure of a PDA and would likely require many samples to infer this structure. Furthermore, extracting the PDA rules from the RNN is nontrivial. We build a RNN specifically structured like a PDA, where weights correspond directly to the PDA rules. This requires a stack architecture that is somehow differentiable (to enable gradient-based learning) and stable (an unstable stack will show deteriorating performance with longer strings). We propose a stack architecture that is differentiable and that provably exhibits orbital stability. Using this stack, we construct a neural network that provably approximates a PDA for strings of arbitrary length. Moreover, our model and method of proof can easily be generalized to other state machines, such as a Turing Machine.

研究动机与目标

• 通过学习潜在的上下文无关文法（CFG），解决从正负字符串样本中进行语法推断的挑战。
• 设计一种循环神经网络（RNN）架构，显式建模下推自动机（PDA）的结构，确保学习到的规则具有可解释性。
• 开发一种既可微分以支持基于梯度的训练，又可证明轨道稳定的栈机制，以在长序列处理中保持性能。
• 使从训练后的网络权重中提取可解释的PDA转移和栈操作规则成为可能。

提出的方法

• 该模型使用自定义的栈架构，其操作具有可微性，通过轨道稳定性维持状态稳定性，确保随时间推移误差增长有界。
• RNN被设计为直接模拟PDA，其中网络权重对应于PDA的转移和栈操作规则。
• 该栈采用连续的、可微分的更新规则，避免了标准RNN中常见的离散、不可微分操作。
• 通过李雅普诺夫分析证明轨道稳定性，保证输入或隐藏状态的微小扰动不会导致发散行为。
• 该架构使用标准反向传播进行训练，以将字符串分类为属于或不属于目标CFG。
• 通过扩展相同的栈和稳定性原理，该方法可推广至其他状态机，如图灵机。

实验结果

研究问题

• RQ1 一种具有稳定栈架构的可微分RNN能否学习并表示下推自动机（PDA）的转移和栈操作，以实现语法推断？
• RQ2 如何设计一种神经网络，使其权重能直接对应于可解释的PDA规则？
• RQ3 在长序列处理中，特别是针对训练时未见的更长字符串，何种条件可确保栈机制保持稳定？
• RQ4 该模型的内部结构能否支持从训练后的权重中提取可解释的语法规则？
• RQ5 该框架在多大程度上可推广至其他计算模型，如图灵机？

主要发现

• 所提出的栈架构具有可证明的轨道稳定性，确保模型在序列长度增加时仍能保持一致行为。
• 带有可微分栈的RNN能够对任意长度的字符串近似PDA行为，突破了标准RNN通常存在的泛化限制。
• 该模型的权重直接编码了可解释的PDA转移和栈操作规则，支持从训练后的网络中提取规则。
• 该方法能有效实现从正负字符串样本中的语法推断，学习到潜在的CFG结构。
• 通过扩展栈和稳定性机制，该框架可推广至其他状态机，如图灵机。