[论文解读] Simplifying Sentences with Sequence to Sequence Models

Alexander Patrick Mathews, Lexing Xie+1 more|arXiv (Cornell University)|May 15, 2018

Topic Modeling参考文献 7被引用 3

一句话总结

该论文提出S4模型，采用新颖的词复制机制与自定义损失函数，以提升句子简化效果。通过联合使用预训练与微调词嵌入，S4在基线模型基础上实现8.8点BLEU得分提升，其中词复制贡献4.9点，嵌入微调贡献3.8点，表明其在语义保留与简化质量方面表现优异。

ABSTRACT

We simplify sentences with an attentive neural network sequence to sequence model, dubbed S4. The model includes a novel word-copy mechanism and loss function to exploit linguistic similarities between the original and simplified sentences. It also jointly uses pre-trained and fine-tuned word embeddings to capture the semantics of complex sentences and to mitigate the effects of limited data. When trained and evaluated on pairs of sentences from thousands of news articles, we observe a 8.8 point improvement in BLEU score over a sequence to sequence baseline; however, learning word substitutions remains difficult. Such sequence to sequence models are promising for other text generation tasks such as style transfer.

研究动机与目标

• 开发一种神经序列到序列模型，实现句子简化的同时保持语义并提升可读性。
• 通过利用预训练与微调词嵌入，解决句子简化任务中训练数据有限的挑战。
• 通过新颖的输入机制与损失函数，增强输出序列中的词复制能力，降低对词生成的依赖。
• 在新构建的句子级平行语料库上评估模型性能，重点关注BLEU、ROUGE与语义保真度。
• 探究注意力机制、词复制与嵌入组合对简化质量的影响。

提出的方法

• S4采用编码器-解码器架构，并使用Bahdanov风格注意力机制对齐输入与输出词元。
• 提出一种新颖的词复制输入机制，使模型能够追踪并重用输入句中的词语，从而在简化过程中提升保真度。
• 引入一种自定义的二元交叉熵损失函数，以鼓励词复制行为，减轻生成网络的负担。
• 将预训练词嵌入（如GloVe）与微调嵌入相结合，以增强对复杂句子的语义理解能力。
• 系统在源自新闻文章的句子级平行语料库上进行训练，通过自动指标评估对齐质量与简化质量。
• 在消融研究中使用一种虚拟词简化器，以隔离注意力机制与词替换错误的独立影响。

实验结果

研究问题

• RQ1 在序列到序列模型中整合词复制机制在多大程度上提升了句子简化性能？
• RQ2 在数据稀缺条件下，结合预训练与微调词嵌入在多大程度上提升了简化质量？
• RQ3 所提出的损失函数与输入机制如何共同影响BLEU与ROUGE得分？
• RQ4 注意力对齐与词替换在整体简化质量中的贡献分别是什么？
• RQ5 与参考输出相比，该模型在生成语义准确且句法正确的简化句方面表现如何？

主要发现

• S4模型在标准序列到序列基线模型基础上，实现了8.8点的BLEU-4得分提升。
• 自定义损失函数（S4+bce）通过鼓励词复制，使BLEU-4提升4.9分。
• 结合预训练与微调嵌入（S4+gv+bce）带来额外3.8分的BLEU-4得分提升。
• 移除注意力机制导致BLEU-4下降35.56分，凸显其在对齐与语义保留中的关键作用。
• S4+gv+bce模型生成的句子长度最接近真实值，而S4+bce模型在Flesch可读性评分上最接近参考值。
• 当使用虚拟词简化器时，BLEU-4提升14.4分，表明尽管模型有所改进，词替换问题仍是主要瓶颈。