[论文解读] Sentence Simplification with Memory-Augmented Neural Networks

Tu Vu, Baotian Hu+2 more|arXiv (Cornell University)|Apr 20, 2018

Text Readability and Simplification参考文献 15被引用 7

一句话总结

本文提出了一种用于句子简化任务的内存增强型神经序列到序列模型，采用神经语义编码器（NSE）作为编码器，以改善长距离依赖建模。NseLstm-B 模型在自动评估与人工评估中均优于强基线模型，在显著降低阅读难度的同时保持了语义一致性和语言流畅性。

ABSTRACT

Sentence simplification aims to simplify the content and structure of complex sentences, and thus make them easier to interpret for human readers, and easier to process for downstream NLP applications. Recent advances in neural machine translation have paved the way for novel approaches to the task. In this paper, we adapt an architecture with augmented memory capacities called Neural Semantic Encoders (Munkhdalai and Yu, 2017) for sentence simplification. Our experiments demonstrate the effectiveness of our approach on different simplification datasets, both in terms of automatic evaluation measures and human judgments.

研究动机与目标

• 为解决在保持语义和语法正确性的同时简化长而复杂的句子的挑战。
• 探究内存增强型RNN架构是否在句子简化任务中优于标准LSTM/GRU模型。
• 评估不同编码器架构的神经序列到序列模型在简化任务中的有效性。
• 分析自动评估与人工评估指标中流畅性、充分性与简化程度之间的权衡关系。

提出的方法

• 该模型采用基于注意力机制的编码器-解码器框架，以神经语义编码器（NSE）作为编码器，LSTM作为解码器。
• NSE维护一个记忆矩阵，该矩阵在每个时间步进行更新，以存储并优化整个输入序列的上下文表征。
• 记忆矩阵初始时由词向量构成，并通过NSE内部函数进行优化，以捕捉长距离依赖关系。
• 注意力机制使解码器能够在生成目标序列时动态关注源序列的相关位置。
• 模型通过在平行的复杂-简化句子对上使用交叉熵损失进行端到端训练。
• 评估了多种变体，包括 NseLstm-B、NseLstm-S、LstmLstm-B 和 LstmLstm-S，采用不同的训练数据和束搜索策略。

实验结果

研究问题

• RQ1 与基于标准LSTM的模型相比，像NSE这样的内存增强型RNN架构是否能提升句子简化性能？
• RQ2 NSE编码器在处理长而复杂的句子时，如何影响模型在简化任务中的表现？
• RQ3 在神经句子简化系统中，流畅性、充分性与简化程度之间存在怎样的权衡关系？
• RQ4 自动评估指标在句子简化任务中与人工判断的相关性如何？

主要发现

• 在WikiSmall和WikiLarge数据集上，NseLstm-B模型在流畅性和充分性方面均达到最高性能。
• 在WikiLarge数据集上，NseLstm-B获得了最高的充分性得分，而LstmLstm-B则获得了最高的流畅性得分。
• 在WikiSmall和WikiLarge数据集上，NseLstm-S变体在简化度与平均得分方面均优于所有其他系统。
• 人工评估显示，流畅性与充分性之间存在显著的正相关性（r=0.69），而充分性与简化度之间存在显著的负相关性（r=-0.64）。
• BLEU与充分性（r=0.90）和流畅性（r=0.63）均表现出强相关性，而SARI与简化度的相关性最佳（r=0.73）。
• 结果证实，神经模型在流畅性方面优于传统系统，但通常在语义保持方面表现不佳，尤其是在复制输入短语时。