[论文解读] Neural Sentence Ordering

Xinchi Chen, Xipeng Qiu+1 more|arXiv (Cornell University)|Jul 23, 2016

Topic Modeling参考文献 24被引用 46

一句话总结

本文提出一种数据驱动的神经方法，将句子排序作为独立任务，利用大规模学术论文摘要语料库训练成对排序模型，通过神经网络编码句子，并利用束搜索预测其最优顺序。主要贡献是公开发布了一个数据集和代码，表明LSTM等神经模型在捕捉话语连贯性方面优于传统方法，超越了简单的时序或主题排序。

ABSTRACT

Sentence ordering is a general and critical task for natural language generation applications. Previous works have focused on improving its performance in an external, downstream task, such as multi-document summarization. Given its importance, we propose to study it as an isolated task. We collect a large corpus of academic texts, and derive a data driven approach to learn pairwise ordering of sentences, and validate the efficacy with extensive experiments. Source codes and dataset of this paper will be made publicly available.

研究动机与目标

• 为解决句子排序缺乏内在评估的问题，构建一个大规模、高质量的结构良好学术摘要数据集。
• 将句子排序视为独立任务，而非摘要生成或文本生成的下游组件。
• 开发一种数据驱动的神经方法，学习句子顺序，而无需依赖人工设计特征。
• 通过新基准评估神经模型在预测正确句子排列方面的能力。

提出的方法

• 从arXiv收集约一百万篇学术论文摘要，构建大规模、连贯的句子排序数据集。
• 使用神经句子编码器（CBoW、CNN、LSTM）生成句子的稠密向量表示。
• 应用两层神经网络的成对排序模型，预测句子i是否先于句子j，以句子嵌入拼接作为输入。
• 将整体句子顺序建模为所有句子对上的对数似然最大化问题。
• 采用束搜索高效探索最可能的句子排列，避免暴力枚举。
• 通过偏导数的梯度分析方法，可视化对排序决策贡献最大的词语。

实验结果

研究问题

• RQ1 在不依赖任务特定特征的前提下，数据驱动的神经方法是否能优于传统启发式方法进行句子排序？
• RQ2 神经模型在多大程度上能从原始文本中学习复杂话语关系，如因果关系、主题推进和时序关系？
• RQ3 不同神经架构（CBoW、CNN、LSTM）在预测正确句子排序方面表现如何比较？
• RQ4 哪些语言线索（例如‘first’、‘then’、‘results’）最能预测句子位置？

主要发现

• 基于LSTM的模型在预测正确句子顺序时置信度最高，正确对(1,2)的得分达0.8744，而反序(2,1)仅为0.1110，显著优于CNN和CBoW。
• CBoW模型未能捕捉排序逻辑，对错误顺序(2,1)的得分(0.6097)高于正确顺序(0.4911)。
• 如‘first’、‘second’和‘results’等词语被识别为句子位置的关键指示符，尤其在序列性或结果导向的话语结构中。
• CNN和LSTM模型均能检测到显著的话语标记如‘first’和‘second’，但LSTM在捕捉逻辑依赖关系方面表现出更高的置信度和精确度。
• 模型在成对排序任务上的表现显著优于完整摘要重排序任务，表明全局连贯性仍是挑战。
• 所提出的数据集和代码已公开发布，为未来句子排序研究提供了宝贵基准。