[论文解读] The Importance of Being Recurrent for Modeling Hierarchical Structure

Ke Tran, Arianna Bisazza+1 more|arXiv (Cornell University)|Mar 9, 2018

Topic Modeling参考文献 18被引用 12

一句话总结

本文研究循环神经网络（LSTM）是否在建模层次语言结构方面优于非循环的变换器（FAN）。通过主语-动词一致性和逻辑推理任务，作者表明，LSTM在更长序列上的泛化能力始终更优，且对误导性特征更具鲁棒性，证明了即使在非循环模型计算效率更高的情况下，循环性仍是捕捉层次依赖关系的关键因素。

ABSTRACT

Recent work has shown that recurrent neural networks (RNNs) can implicitly capture and exploit hierarchical information when trained to solve common natural language processing tasks such as language modeling (Linzen et al., 2016) and neural machine translation (Shi et al., 2016). In contrast, the ability to model structured data with non-recurrent neural networks has received little attention despite their success in many NLP tasks (Gehring et al., 2017; Vaswani et al., 2017). In this work, we compare the two architectures---recurrent versus non-recurrent---with respect to their ability to model hierarchical structure and find that recurrency is indeed important for this purpose.

研究动机与目标

• 评估类似LSTM的循环架构是否在隐式建模序列数据中的层次结构方面优于非循环变换器（FAN）。
• 评估LSTM与FAN在需要嵌套句法或逻辑依赖的任务中的泛化能力。
• 确定非循环模型的计算效率是否以牺牲对层次结构的理解为代价。
• 探究显式监督或语言建模预训练是否能提升两种架构对层次结构的捕捉能力。

提出的方法

• 本研究在两个受控的NLP任务上比较LSTM与FAN（一种非循环变换器变体）：主语-动词一致性与逻辑推理。
• 在主语-动词一致性任务中，模型在下一个词预测或显式数词预测上进行训练，性能通过不同句法距离下的准确率衡量。
• 在逻辑推理任务中，模型使用LSTM或FAN编码器对前提-假设对进行编码，随后通过前馈分类器进行七类关系预测。
• FAN通过多头自注意力机制，利用可学习查询向量将句子表示池化为固定大小的向量。
• 超参数通过网格搜索进行调优，模型使用Adam进行优化；词嵌入与输出嵌入共享。
• 实验在完整数据集和逻辑算子受限的子集上进行，以测试对更长序列的泛化能力。

实验结果

研究问题

• RQ1 在建模层次语言结构方面，循环性是否相对于非循环注意力机制具有显著优势？
• RQ2 在需要嵌套句法或逻辑依赖的任务中，LSTM与FAN在泛化到更长序列方面表现如何？
• RQ3 在两种架构中，显式监督是否比语言建模预训练更有效地捕捉层次结构？
• RQ4 在主语-动词一致性任务中，LSTM与FAN对误导性句法特征的鲁棒性如何？

主要发现

• 在使用语言建模或显式监督训练时，LSTM在主语-动词一致性任务中表现优于FAN，尤其在句法距离较长时。
• 在逻辑推理任务中，当在较短序列（≤6个逻辑算子）上训练时，LSTM在更长测试序列（6 < n ≤ 12）上的泛化能力显著优于FAN，准确率更高。
• 当在完整数据集上训练时，FAN的表现与LSTM相当，但其在泛化到更长序列时性能急剧下降。
• LSTM在主语-动词一致性任务中对误导性特征表现出更强的鲁棒性，无论距离或吸引子数量如何变化，其准确率均保持较高。
• 结果表明，即使非循环模型计算效率更高，循环性仍是捕捉层次结构的关键因素。