[论文解读] On the Importance of Word and Sentence Representation Learning in Implicit Discourse Relation Classification

Xin Liu, Jiefu Ou+2 more|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 33被引用 4

一句话总结

该论文提出BMGF-RoBERTa，一种新颖模型，通过整合上下文词表示、双边多视角匹配和门控融合机制，提升隐式语篇关系分类性能。通过利用段落嵌入编码'前一后一'上下文，并结合多头注意力与门控机制，该模型在PDTB和CoNLL 2016数据集上分别较BERT和先前SOTA系统提升约8%和16%的性能，达到当前最优水平。

ABSTRACT

Implicit discourse relation classification is one of the most difficult parts in shallow discourse parsing as the relation prediction without explicit connectives requires the language understanding at both the text span level and the sentence level. Previous studies mainly focus on the interactions between two arguments. We argue that a powerful contextualized representation module, a bilateral multi-perspective matching module, and a global information fusion module are all important to implicit discourse analysis. We propose a novel model to combine these modules together. Extensive experiments show that our proposed model outperforms BERT and other state-of-the-art systems on the PDTB dataset by around 8% and CoNLL 2016 datasets around 16%. We also analyze the effectiveness of different modules in the implicit discourse relation classification task and demonstrate how different levels of representation learning can affect the results.

研究动机与目标

• 为解决隐式语篇关系分类的挑战，该任务缺乏显式连接词，需在篇章和句子层面实现深层上下文理解。
• 探究多层级表征学习（词、句子、语篇）对隐式关系分类的重要性。
• 设计一个统一模型，整合强大的表征、交互与融合模块，以增强语篇推理能力。
• 系统评估各组件（段落嵌入、匹配、融合）对分类性能提升的贡献。
• 证明当RoBERTa通过任务特定架构组件增强后，其在标准基准上超越BERT和先前SOTA模型。

提出的方法

• 模型采用RoBERTa作为上下文编码器，并引入段落嵌入（SE），以显式表示两个语篇论据之间的'前一后一'顺序。
• 双边多视角匹配（BM）模块通过跨多个视角的注意力机制捕捉论据间的交互，避免复杂的特征工程。
• 门控信息融合（GF）模块将多头注意力与可学习门控机制结合，选择性聚合来自两个论据的相关特征。
• 通过在两个论据间插入特殊分隔符token，使编码器能够学习相对位置和语篇上下文信息。
• 最终表示送入分类器进行多类语篇关系预测，支持端到端训练。
• 通过移除SE、BM或GF模块进行消融研究，评估各模块的独立贡献。

实验结果

研究问题

• RQ1 不同层次的表征学习（词、句子、语篇）如何影响隐式语篇关系分类？
• RQ2 段落嵌入在建模RoBERTa中'前一后一'语篇顺序方面有何贡献？
• RQ3 双边多视角匹配与标准注意力机制相比，在捕捉论据交互方面表现如何？
• RQ4 与普通注意力或拼接操作相比，门控融合在多大程度上提升了特征整合效果？
• RQ5 为何RoBERTa在未进行架构修改的情况下，在隐式关系分类任务中表现不如BERT？哪些组件对性能提升至关重要？

主要发现

• BMGF-RoBERTa在PDTB-4数据集上取得59.44的F1分数，较先前SOTA提升约8%。
• 在CoNLL 2016数据集上，模型相比最佳先前系统F1提升约16%。
• 移除段落嵌入（w/o SE）导致性能显著下降，尤其在Comp.和Temp.关系上，表明其在捕捉语篇顺序方面具有关键作用。
• 双边多视角匹配与门控融合模块各自贡献显著，消融实验显示二者被移除后平均F1下降超过9%。
• 孪生网络变体（BMGF-RoBERTa-Siamese）在性能上劣于移除SE的BMGF-RoBERTa，表明独立编码限制了上下文整合能力。
• 在PDTB-4上，源注意力之后使用自注意力会损害性能，表明标准注意力机制在该任务中不如所提出的BM与GF模块有效。