[论文解读] Second-Order Neural Dependency Parsing with Message Passing and End-to-End Training

Xinyu Wang, Kewei Tu|arXiv (Cornell University)|Oct 10, 2020

Topic Modeling参考文献 32被引用 16

一句话总结

该论文提出了一种基于消息传递和端到端训练的二阶图神经依赖解析器，在英语和中文语料库上实现了最先进性能，且显著快于以往的二阶方法。结果表明，即使使用 BERT 嵌入表示，二阶解码依然有益；而头选择约束在强上下文表示下提供的优势有限。

ABSTRACT

In this paper, we propose second-order graph-based neural dependency parsing using message passing and end-to-end neural networks. We empirically show that our approaches match the accuracy of very recent state-of-the-art second-order graph-based neural dependency parsers and have significantly faster speed in both training and testing. We also empirically show the advantage of second-order parsing over first-order parsing and observe that the usefulness of the head-selection structured constraint vanishes when using BERT embedding.

研究动机与目标

• 开发一种比现有神经方法更准确且更高效的二阶图基依赖解析器。
• 探究在使用 BERT 等强上下文嵌入表示时，二阶解码是否依然有效。
• 评估在不同嵌入设置下，头选择结构化约束对一阶和二阶解析的影响。
• 比较基于消息传递的二阶解析与现有的一阶和二阶神经解析器在性能和速度上的表现。

提出的方法

• 该论文提出了两种二阶解析方法：一种是独立处理边存在的 Single 方法，另一种是通过每个词的离散随机变量强制实现头选择的 Local 方法。
• 采用均场变分推断（MFVI）替代环路信念传播进行近似推理，从而实现更快且同样准确的解码。
• 模型使用双仿射评分器计算边得分，并在测试阶段应用可微的最小生成树（MST）推理步骤，以确保生成有效句法树。
• Local 方法通过为每个词定义一个离散变量来选择其依赖头，从而引入头选择约束，并导致消息传递公式的不同形式。
• 该方法采用修改后的损失函数进行端到端训练，平衡边和标签预测任务，引入一个小型插值超参数以提升准确率。
• 该架构兼容现代神经编码器（如 BiLSTM 和 BERT），并设计为可对词并行化处理，从而相比顺序方法降低了时间复杂度。

实验结果

研究问题

• RQ1 当使用 BERT 等强上下文嵌入表示时，二阶解码是否仍能带来性能提升？
• RQ2 头选择结构化约束对一阶和二阶神经依赖解析的准确率有何影响？
• RQ3 基于消息传递的二阶解析能否在训练和推理速度上优于现有最先进方法，同时保持竞争力的准确率？
• RQ4 在不同语言和嵌入类型下，Local 和 Single 二阶方法的相对性能表现如何？

主要发现

• Local2O 模型在英语 PTB 和中文 CTB 语料库上均达到最先进性能，与近期最先进模型相当或更优。
• 使用 BERT 嵌入时，Single2O 在 CTB 上达到最高准确率，而 Local2O 在 PTB 上表现最佳，表明不同方法的优越性具有上下文依赖性。
• 即使使用 BERT 嵌入，二阶解码仍持续优于一阶解析，表明高阶信息在强上下文表示下依然有益。
• 头选择约束带来的增益有限，尤其在使用 BERT 时，因为不使用该约束的模型通过更优的损失设计和超参数调优，可达到甚至超过其准确率。
• 所提模型显著快于以往的二阶解析器：在训练和推理上分别比 Zhang et al. (2020) 快 2.4 倍和 2.9 倍，比 GNN 快 1.2 倍和 2.3 倍（同硬件条件下）。
• 所提二阶解码器的时间复杂度为 O(n³)，但具有高度可并行性，而 Zhang et al. (2020) 的方法为顺序解码，这使其在速度上具有显著优势。