[论文解读] Neural Sentence Ordering Based on Constraint Graphs

Yutao Zhu, Kun Zhou+3 more|arXiv (Cornell University)|Jan 27, 2021

Topic Modeling参考文献 38被引用 7

一句话总结

该论文提出了一种神经句序模型，通过多粒度约束图捕捉局部与全局顺序信息，并利用图同构网络（GINs）将句子表征与相对顺序约束融合。该方法通过在不同距离上有效整合细粒度顺序信号，在五个基准数据集上实现了最先进性能。

ABSTRACT

Sentence ordering aims at arranging a list of sentences in the correct order. Based on the observation that sentence order at different distances may rely on different types of information, we devise a new approach based on multi-granular orders between sentences. These orders form multiple constraint graphs, which are then encoded by Graph Isomorphism Networks and fused into sentence representations. Finally, sentence order is determined using the order-enhanced sentence representations. Our experiments on five benchmark datasets show that our method outperforms all the existing baselines significantly, achieving a new state-of-the-art performance. The results demonstrate the advantage of considering multiple types of order information and using graph neural networks to integrate sentence content and order information for the task. Our code is available at https://github.com/DaoD/ConstraintGraph4NSO.

研究动机与目标

• 为解决现有句序方法无法联合建模局部成对顺序与全局上下文依赖的局限性。
• 探究不同粒度下（在不同句子距离下显现）的顺序信息是否可被系统性地捕捉与整合。
• 通过基于不同粒度的多张约束图建模相对顺序偏好，以提升句序性能。
• 证明图神经网络可有效将异构顺序信号融合到丰富的句子表征中。
• 通过可学习的多粒度约束图框架，建立句序任务的新最先进基线。

提出的方法

• 该方法构建三张不同的约束图：一张用于即时后继关系（距离为1），一张用于远距离顺序关系（距离>1），一张用于全局位置约束（如'finally'表示序列结束）。
• 每张约束图通过训练独立分类器，基于句子的语义与话语特征来预测句对之间的相对顺序。
• 对每张约束图应用图同构网络（GINs），通过聚合邻域信息来更新句子表征，从而捕捉局部与全局顺序依赖。
• 将三张图的表征拼接后输入最终分类器，以预测完整的句子顺序。
• 该框架支持预训练语言模型（如BERT、RoBERTa和ALBERT），并在第一阶段对模型进行微调以提升约束预测性能。
• 模型通过在最终顺序预测任务上使用交叉熵损失进行端到端训练，消融实验验证了每类图的贡献。

实验结果

研究问题

• RQ1 在多个粒度上建模句序——即时后继、远距离排序与全局位置——是否能提升句序性能？
• RQ2 图神经网络在多张约束图中整合异构顺序信号的能力有多强，能否生成统一的句子表征？
• RQ3 所提方法是否优于依赖成对分类或自回归解码的现有神经基线？
• RQ4 不同预训练语言模型（如BERT、RoBERTa、ALBERT）在约束预测阶段的性能贡献程度如何？
• RQ5 鉴于首句与末句在段落连贯性中的关键作用，该模型在预测首句与末句方面的能力是否优于以往工作？

主要发现

• 所提模型在五个基准数据集上均达到最先进性能，在AAN数据集上的平均Kendall’s tau为0.8236，在SIND数据集上为0.5856，全面超越所有先前基线。
• 消融实验表明，三张约束图（g1+g2+g3）联合使用性能最佳，各图均对最终结果有显著贡献。
• 在AAN数据集上，模型首句预测准确率达91.47%，末句预测准确率达80.35%，分别较次佳方法B-Tsort提升1.86%与1.78%。
• 在第一阶段微调BERT带来轻微性能增益，表明任务特定微调可提升约束预测能力。
• 将GIN替换为GCN导致性能轻微下降（如AAN数据集上从0.8236降至0.8206），表明GIN更适用于捕捉约束图的结构细微特征。
• t-SNE可视化结果表明，模型经训练后的句子表征相比BERT原始嵌入具有更强的顺序感知结构，验证了模型有效将顺序信息注入表征的能力。