[论文解读] Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks

Joshua Michalenko, Ameesh Shah+4 more|arXiv (Cornell University)|Feb 27, 2019

Natural Language Processing Techniques被引用 10

一句话总结

本文研究了循环神经网络（RNNs）在训练识别正则语言时，如何表示形式语法结构。研究提出，RNN隐藏状态并非直接映射到最小确定性有限自动机（MDFA）状态，而是映射到通过聚类MDFA状态形成的抽象‘超状态’。线性解码函数在将RNN状态映射到这些抽象状态时实现了高准确率，揭示了RNN表示与有限自动机之间存在强烈的结构对应关系。

ABSTRACT

We investigate the internal representations that a recurrent neural network (RNN) uses while learning to recognize a regular formal language. Specifically, we train a RNN on positive and negative examples from a regular language, and ask if there is a simple decoding function that maps states of this RNN to states of the minimal deterministic finite automaton (MDFA) for the language. Our experiments show that such a decoding function indeed exists, and that it maps states of the RNN not to MDFA states, but to states of an {\em abstraction} obtained by clustering small sets of MDFA states into "superstates". A qualitative analysis reveals that the abstraction often has a simple interpretation. Overall, the results suggest a strong structural relationship between internal representations used by RNNs and finite automata, and explain the well-known ability of RNNs to recognize formal grammatical structure.

研究动机与目标

• 理解RNN在训练正则语言时，其内部如何表示形式语法结构。
• 研究RNN隐藏状态是否可被解码为标准的最小确定性有限自动机（MDFA）状态。
• 探索是否存在一种简单解码函数，可将RNN状态映射到MDFA状态或其抽象形式。
• 使用聚类与解码技术，分析RNN表示与有限自动机之间的结构关系。
• 从语言学与自动机理论意义的角度，评估所得抽象的可解释性与粗粒度程度。

提出的方法

• 在500个由正则表达式定义的正则语言的正负样本上训练RNN。
• 为每种语言构建最小确定性有限自动机（MDFA）作为标准参考模型。
• 对MDFA状态应用层次聚类，生成一系列抽象化，形成逐渐变粗的分组层次结构（即树状图）。
• 训练线性解码器，将RNN隐藏状态映射到MDFA的抽象状态，并在每个抽象层次上评估准确率。
• 使用t-SNE可视化分析RNN隐藏状态的几何结构，并与MDFA状态分配进行比较。
• 测量解码准确率与转移准确率，以评估RNN内部状态与抽象自动机结构的对齐程度。

实验结果

研究问题

• RQ1 能否通过简单解码函数，将训练于正则语言的RNN隐藏状态映射到该语言的最小确定性有限自动机（MDFA）状态？
• RQ2 RNN的内部表示更接近MDFA状态本身，还是更接近通过聚类MDFA状态形成‘超状态’的抽象？
• RQ3 线性解码器是否足以实现高解码准确率，还是需要非线性结构才能捕捉RNN的表示？
• RQ4 通过聚类MDFA状态形成的抽象具有何种可解释性？它们是否反映了有意义的语言或结构模式？
• RQ5 抽象的粗粒度程度（即聚类数量）如何影响解码准确率？最优的抽象层次是什么？

主要发现

• 线性解码函数在将RNN隐藏状态映射到通过聚类MDFA状态形成的抽象状态时，实现了高准确率，表明存在强烈的结构对齐。
• RNN的表示并非映射到单个MDFA状态，而是映射到由小簇MDFA状态聚类形成的‘超状态’，表明抽象在表示中起核心作用。
• 通过聚类MDFA状态形成的抽象通常具有直观且可解释的含义，例如将识别相同子模式（如[a-d]*）的状态分组。
• 随着抽象粗粒度的提升，解码准确率也随之提高，基于阈值的选择方法可识别出实现高准确率的最小必要抽象层次。
• RNN学会对字符串中任意位置的等价子模式使用共享隐藏状态，表明其具备某种结构抽象能力。
• MDFA状态的层次聚类揭示，RNN倾向于抽象在序列上相邻或具有相同句法角色的状态，表明其表示学习中存在位置依赖与角色导向的先验。