[论文解读] Neural Extractive Text Summarization with Syntactic Compression

Jiacheng Xu, Greg Durrett|arXiv (Cornell University)|Feb 3, 2019

Topic Modeling参考文献 44被引用 27

一句话总结

本文提出一种神经抽取式文本摘要模型，通过句法成分解析联合学习句子选择与句法压缩，生成简洁、语法正确的摘要。通过在人工构造的抽取-压缩摘要上进行训练，该模型在CNN/Daily Mail数据集上相比抽取式基线模型ROUGE-F1提升2.4分，达到当前最先进水平，表明摘要的流畅性与可控压缩能力得到显著提升。

ABSTRACT

Recent neural network approaches to summarization are largely either selection-based extraction or generation-based abstraction. In this work, we present a neural model for single-document summarization based on joint extraction and syntactic compression. Our model chooses sentences from the document, identifies possible compressions based on constituency parses, and scores those compressions with a neural model to produce the final summary. For learning, we construct oracle extractive-compressive summaries, then learn both of our components jointly with this supervision. Experimental results on the CNN/Daily Mail and New York Times datasets show that our model achieves strong performance (comparable to state-of-the-art systems) as evaluated by ROUGE. Moreover, our approach outperforms an off-the-shelf compression module, and human and manual evaluation shows that our model's output generally remains grammatical.

研究动机与目标

• 开发一种结合抽取式摘要与基于句法的句子压缩的神经模型，以提升摘要质量与可解释性。
• 通过使用束搜索与启发式优化构建高质量人工抽取-压缩摘要，解决联合抽取-压缩模型的训练挑战。
• 通过可调阈值实现可控压缩，灵活调节摘要长度而不损失ROUGE性能。
• 通过基于句法成分解析的离散压缩选项，提升压缩摘要的语法正确性与流畅性。
• 证明联合学习抽取与压缩优于仅抽取式基线模型及现成的压缩模块。

提出的方法

• 模型使用BiLSTM编码文档句子与文档级表示，随后通过注意力机制的LSTM解码器进行句子选择，类似于指针网络架构。
• 对每个选中的句子，基于句法成分解析生成一组离散的压缩选项，应用规则去除同位语、关系从句、状语短语与括号成分，同时保持语法正确性。
• 神经评分机制根据上下文、句子表示与解码器状态，评估每个压缩选项并选择最优压缩版本。
• 训练目标联合优化抽取与压缩，使用通过束搜索与启发式优化生成的人工摘要，以识别高质量的句子选择与压缩目标。
• 对压缩结果应用去重机制，以减少冗余，尤其针对时间与地点状语，提升效率并降低噪声。
• 模型通过端到端的联合目标进行训练，结合抽取与压缩监督，使系统学会何时以及如何进行压缩。

实验结果

研究问题

• RQ1 与仅抽取式模型相比，联合训练抽取与压缩模块是否能提升摘要性能？
• RQ2 基于句法的离散压缩选项是否能生成比端到端神经压缩更语法正确、更流畅的摘要？
• RQ3 该模型在不同压缩阈值下性能是否稳健？能否实现摘要长度的可控生成？
• RQ4 与现成压缩模块相比，基于成分解析的压缩规则在多大程度上提升了摘要质量？
• RQ5 人工评估中，该模型压缩输出的语法正确性与流畅性如何？

主要发现

• 该模型在CNN/Daily Mail与New York Times数据集上达到最先进性能，相比抽取式基线模型ROUGE-F1提升2.4分。
• 模型在广泛压缩阈值范围（0.3至0.55）内保持强劲性能，表明其在摘要长度控制方面具有鲁棒性与可控性。
• 人工评估确认模型输出整体语法正确，多数错误源于解析器限制，而非模型的压缩决策。
• 模型优于现成压缩模块，证明与抽取监督联合训练具有显著优势。
• 压缩最常应用于介词短语（PP，26%）与形容词短语（JJ，34%），准确率分别为72%（JJ）与80%（PRN），表明基于规则的压缩选择有效。
• 去重机制去除了30%的选中压缩（尤其PP），减少冗余并提升效率，且未降低ROUGE分数。