[论文解读] On the Ability of Self-Attention Networks to Recognize Counter Languages.

Satwik Bhattamishra, Kabir Ahuja+1 more|arXiv (Cornell University)|Sep 23, 2020

Topic Modeling被引用 7

一句话总结

该论文通过为这类语言的一个子类构建理论化的Transformer架构，研究了Transformer在识别计数语言（如Dyck-1和n元布尔表达式）方面的表现。研究发现，Transformer在该子类上泛化能力良好，性能与所提出的构造方法高度一致；但在更复杂的正则语言上表现不佳，凸显了自注意力机制和位置编码在建模句法结构中的作用。

ABSTRACT

Transformers have supplanted recurrent models in a large number of NLP tasks. However, the differences in their abilities to model different syntactic properties remain largely unknown. Past works suggest that LSTMs generalize very well on regular languages and have close connections with counter languages. In this work, we systematically study the ability of Transformers to model such languages as well as the role of its individual components in doing so. We first provide a construction of Transformers for a subclass of counter languages, including well-studied languages such as n-ary Boolean Expressions, Dyck-1, and its generalizations. In experiments, we find that Transformers do well on this subclass, and their learned mechanism strongly correlates with our construction. Perhaps surprisingly, in contrast to LSTMs, Transformers do well only on a subset of regular languages with degrading performance as we make languages more complex according to a well-known measure of complexity. Our analysis also provides insights on the role of self-attention mechanism in modeling certain behavior and the influence of positional encoding schemes on the learning and generalization ability of the model.

研究动机与目标

• 研究Transformer对计数语言（一类具有嵌套结构的正式语言）的建模能力。
• 将Transformer在计数语言上的表现与在更复杂正则语言上的表现进行比较。
• 分析自注意力机制和位置编码在实现或限制句法模式泛化能力方面的作用。
• 构建一个可识别计数语言子类的理论化Transformer架构。

提出的方法

• 设计一种专用于识别计数语言特定子类（包括Dyck-1和n元布尔表达式）的理论化Transformer架构。
• 在各种计数语言和复杂度递增的正则语言上训练并评估模型。
• 分析训练后模型的注意力机制，以评估其与所提出构造方法的一致性。
• 比较不同位置编码方案的性能，以评估其对学习和泛化的影响。
• 使用语言的复杂度度量方法，将模型性能与句法复杂度相关联。

实验结果

研究问题

• RQ1 Transformer能否在计数语言的子类（如Dyck-1和n元布尔表达式）上进行学习并实现泛化？
• RQ2 Transformer在计数语言上的表现与在更复杂正则语言上的表现相比如何？
• RQ3 Transformer中的自注意力机制在多大程度上与识别嵌套结构的理论构造相一致？
• RQ4 不同位置编码方案在多大程度上影响模型学习和泛化句法模式的能力？

主要发现

• Transformer在所研究的计数语言子类上表现出色，学习到的注意力模式与所提出的理论构造高度一致。
• 在更复杂的正则语言上，性能显著下降，表明其泛化能力受限于特定类型的句法结构。
• 自注意力机制在建模分层和嵌套依赖关系方面起着关键作用，尤其在捕捉平衡括号和递归结构方面。
• 位置编码方案显著影响模型的学习和泛化能力，某些方案在句法任务上能带来更好的表现。