[论文解读] Sentence Simplification with Deep Reinforcement Learning

Xingxing Zhang, Mirella Lapata|arXiv (Cornell University)|Mar 31, 2017

Text Readability and Simplification参考文献 28被引用 11

一句话总结

本文提出Dress，一种用于句子简化任务的深度强化学习框架，联合优化简洁性、流畅性和语义保真度。通过使用惩罚复杂性、奖励语法正确性和语义保留的奖励函数训练编码器-解码器模型，Dress在三个数据集上均优于强基线模型，在人工评估和SARI、FKGL等自动指标上达到最先进水平。

ABSTRACT

Sentence simplification aims to make sentences easier to read and understand. Most recent approaches draw on insights from machine translation to learn simplification rewrites from monolingual corpora of complex and simple sentences. We address the simplification problem with an encoder-decoder model coupled with a deep reinforcement learning framework. Our model, which we call {\sc Dress} (as shorthand for {\bf D}eep {\bf RE}inforcement {\bf S}entence {\bf S}implification), explores the space of possible simplifications while learning to optimize a reward function that encourages outputs which are simple, fluent, and preserve the meaning of the input. Experiments on three datasets demonstrate that our model outperforms competitive simplification systems.

研究动机与目标

• 为解决现有句子简化模型仅优化流畅性或词汇替换的局限性，通过联合建模简洁性、语法正确性和语义保真度。
• 开发一种利用强化学习探索可能简化方案空间并从奖励信号中学习的神经序列到序列模型。
• 通过引入词汇简化组件，将生僻词替换为常见同义词，以提升简化性能。
• 在包括基于维基百科和新闻语料在内的多样化数据集上评估模型，以证明其鲁棒性和泛化能力。
• 表明强化学习对于生成在简洁性、清晰度和语义保真度之间取得平衡的高质量简化句至关重要。

提出的方法

• 模型采用基于注意力机制的编码器-解码器架构，使用双向LSTM实现，用于编码复杂句子并解码简化输出。
• 采用深度强化学习框架，其中策略网络（即解码器）被训练以最大化一个平衡简洁性、流畅性和语义充分性的奖励函数。
• 奖励函数结合多个分量：基于BLEU的流畅性得分、用于语义保留的SARI得分，以及基于FKGL的简洁性得分，以惩罚复杂词汇。
• 使用策略梯度方法（REINFORCE）基于生成输出的预期累积奖励来优化模型参数。
• 集成一个词汇简化模块，将生僻词替换为WordNet中的更常见同义词，以提升词汇简洁性。
• 在三个数据集（Newsela、WikiSmall和Wikilarge）上对模型进行微调，结合自动评估和人工评估以指导训练。

实验结果

研究问题

• RQ1 强化学习框架能否有效优化句子简化中存在冲突的多个目标——简洁性、流畅性和语义保真度？
• RQ2 基于多个自动指标的奖励函数进行端到端训练，与监督学习或基于规则的基线相比表现如何？
• RQ3 词汇简化模块的引入在多大程度上提升了整体简化质量？
• RQ4 该模型在不同领域（如新闻文章和维基内容）之间是否具备良好的泛化能力？
• RQ5 强化学习是否为实现最先进性能所必需？还是监督模型可以达到相同效果？

主要发现

• 在Newsela数据集上，Dress-Ls在简洁性（4.02）和整体评分（3.85）上均获得最高人工评估得分，显著优于PBMT-R、Hybrid和参考句。
• 在WikiSmall数据集上，Dress-Ls在简洁性（4.00）和整体评分（3.80）上显著优于PBMT-R、Hybrid和参考句，流畅性与PBMT-R相当。
• 在Wikilarge数据集上，Dress-Ls在简洁性得分（4.00）上表现最佳，并在整体维度（3.85）上显著优于所有基线模型，尽管语义保真度略低于参考句。
• 在人工评估中，Dress和Dress-Ls显著优于EncDecA和PBMT-R，证明了强化学习相比监督训练的有效性。
• 模型在FKGL（简洁性指标）上表现优异，Dress-Ls在Newsela上达到12.73，在Wikilarge上达到13.11，表明词汇简洁性极高。
• Dress和Dress-Ls的TER得分（0.46和0.44）高于PBMT-R（0.13），表明其进行了更广泛的重写，包括删除和替换，从而促进了更好的简化效果。