[论文解读] Split and Rephrase

Shashi Narayan, Claire Gardent+2 more|arXiv (Cornell University)|Jul 21, 2017

Text Readability and Simplification被引用 8

一句话总结

本文提出了一种名为 Split-and-Rephrase 的新句法简化任务，该方法通过拆分复杂句子为更短、语义保持不变的句子，实现无需删除或词汇简化的句子简化。作者构建了包含 107 万个句子对的 WebSplit 基准数据集，并表明在生成前对语义进行分解的 partition-and-generate 模型，相较于标准的序列到序列模型和多源模型，能更有效地提升性能。

ABSTRACT

We propose a new sentence simplification task (Split-and-Rephrase) where the aim is to split a complex sentence into a meaning preserving sequence of shorter sentences. Like sentence simplification, splitting-and-rephrasing has the potential of benefiting both natural language processing and societal applications. Because shorter sentences are generally better processed by NLP systems, it could be used as a preprocessing step which facilitates and improves the performance of parsers, semantic role labellers and machine translation systems. It should also be of use for people with reading disabilities because it allows the conversion of longer sentences into shorter ones. This paper makes two contributions towards this new task. First, we create and make available a benchmark consisting of 1,066,115 tuples mapping a single complex sentence to a sequence of sentences expressing the same meaning. Second, we propose five models (vanilla sequence-to-sequence to semantically-motivated models) to understand the difficulty of the proposed task.

研究动机与目标

• 为解决提升 NLP 系统性能及改善阅读困难读者可读性的需求。
• 开发一种新任务——Split-and-Rephrase，专注于通过句法重述将复杂句子拆分为更短、语义保持不变的句子。
• 构建一个大规模、语义标注的基准数据集（WebSplit），以支持 Split-and-Rephrase 模型的训练与评估。
• 探究不同神经网络架构在处理该任务所需语义分解与重述方面的有效性。

提出的方法

• 从 WebNLG 语料库构建 WebSplit 数据集，利用话语表示结构（DRS）和 RDF 三元组，将复杂句子映射为一系列更短、语义等价的句子。
• 设计五种模型：一个标准的序列到序列模型、一种使用 DRS 的混合 SMT 模型、一种同时输入句子和 RDF 的多源编码器-解码器模型，以及两种在生成前先分解语义的 partition-and-generate 模型。
• 采用 partition-and-generate 模型，先将语义表示（RDF 三元组）划分为连贯的子单元，再独立生成每个句子。
• 通过结合表层文本与语义表示进行训练，以引导语义保持的重述与拆分。
• 使用 BLEU 和句子长度指标评估输出的流畅性与拆分效果，并通过人工评估检验语义保持程度。
• 使用 Boxer 从复杂句子生成 DRS 表示，使语义在模型输入中得以准确锚定。

实验结果

研究问题

• RQ1 一种专注于拆分与重述、不涉及删除或词汇简化的句法简化任务，能否提升 NLP 系统性能并增强可读性？
• RQ2 在 Split-and-Rephrase 任务中，与标准序列到序列模型相比，不同神经网络架构（尤其是那些具备语义分解能力的）效果如何？
• RQ3 在生成的句子序列中，引入语义表示（如 DRS 或 RDF 三元组）在多大程度上能提升质量与语义保持能力？
• RQ4 在生成前对语义输入进行拆分，是否比端到端生成方式带来更好的拆分与重述效果？
• RQ5 尽管在机器翻译等其他 NLP 任务中表现优异，为何多源模型在此设置中表现不佳？

主要发现

• partition-and-generate 模型显著优于所有其他模型，在语义保持与有效句子拆分之间实现了最佳平衡。
• 仅依赖 BLEU 分数不足以评估 Split-and-Rephrase 任务，因为高分可能出现在平均长度较长的单句输出上，从而掩盖了拆分性能差的问题。
• 标准序列到序列模型与多源模型常生成幻觉或语义不一致的内容，尤其在长输入上表现更差。
• 使用 DRS 的混合 SMT 模型表现不佳，可能由于复杂命名实体的语义解析错误。
• 尽管使用了更多信息，多源模型仍表现欠佳，可能由于文本与语义表示之间的分布差异，或训练数据有限。
• 两种 partition-and-generate 模型能正确重述并拆分复杂句子（例如，将定语从句转换为主句），生成流畅且语义准确的输出。