[论文解读] SumQE: a BERT-based Summary Quality Estimation Model

Stratos Xenouleas, Prodromos Malakasiotis+2 more|arXiv (Cornell University)|Sep 2, 2019

Natural Language Processing Techniques参考文献 22被引用 4

一句话总结

本文提出 Sum-QE，一种基于 BERT 的摘要质量评估模型，可在无需人工参考的情况下预测语言质量。该模型在五个标准——语法正确性、非冗余性、指代清晰度、重点突出性与结构完整性——上与人类判断具有高度相关性，尤其在流利度和连贯性方面优于基线模型。

ABSTRACT

We propose SumQE, a novel Quality Estimation model for summarization based on BERT. The model addresses linguistic quality aspects that are only indirectly captured by content-based approaches to summary evaluation, without involving comparison with human references. SumQE achieves very high correlations with human ratings, outperforming simpler models addressing these linguistic aspects. Predictions of the SumQE model can be used for system development, and to inform users of the quality of automatically produced summaries and other types of generated text.

研究动机与目标

• 开发一种无需参考的摘要质量评估模型，以捕捉超越内容保留的语言质量方面。
• 解决基于内容的指标（如 ROUGE 和 Pyramid）无法评估流利度、连贯性和语法正确性的局限性。
• 利用 BERT 的上下文表征，预测多个数据集上人类标注的语言质量分数。
• 实现在系统开发和面向用户的文本生成过程中实时质量评估。
• 将质量评估的应用范围扩展至摘要之外的其他文本生成任务。

提出的方法

• 微调预训练的 BERT 模型，并添加特定任务的回归头，以从人类标注中预测五个语言质量分数（Q1–Q5）。
• 使用三个 NIST DUC 共享任务数据集（DUC-05、DUC-06、DUC-07），其中每个质量标准均有人工评分（1–5 分制）。
• 仅使用摘要文本本身端到端训练模型，无需参考摘要或后期编辑数据。
• 使用斯皮尔曼等级相关系数评估预测分数与人工标注分数之间的相关性。
• 将 Sum-QE 与基线模型（包括 BERT、BiLSTM 和基于 ROUGE 的方法）进行比较，以隔离语言质量预测能力。
• 在部分变体中应用多任务学习，联合预测相关联的语言质量维度（如 Q4 和 Q5），以提升泛化能力。

实验结果

研究问题

• RQ1 基于 BERT 的模型是否能在不依赖人工参考摘要的情况下，准确估计摘要的语言质量？
• RQ2 Sum-QE 在语法正确性、连贯性和非冗余性等不同语言质量维度上，与人类判断的相关性如何？
• RQ3 该模型是否在预测内容指标所忽略的细微语言质量方面优于简单基线模型？
• RQ4 Sum-QE 在某些数据集中为何在非冗余性（Q2）上表现不佳，其架构因素如何影响这一现象？
• RQ5 Sum-QE 在经过最少微调后，能否推广至其他领域或文本生成任务？

主要发现

• Sum-QE 在 DUC-05、DUC-06 和 DUC-07 数据集上，对所有五个语言质量标准均实现了极高的斯皮尔曼相关性。
• 模型在语法正确性（Q1）、指代清晰度（Q3）、重点突出性（Q4）和结构/连贯性（Q5）方面表现尤为出色，大多数情况下相关性超过 0.8。
• 在 DUC-05 中，非冗余性（Q2）的相关性为中等水平（0.65），原因在于人类评分方差较高且分数高度集中在 4 到 5 之间。
• 基于 BERT 的模型在长距离依赖关系（对连贯性和重点突出性至关重要）方面显著优于 BiLSTM 和基于 ROUGE 的基线模型。
• 多任务 BERT 变体在高度相关的标准（如 Q4 和 Q5）上表现更优，表明共享表征学习有助于性能提升。
• 该模型在少量微调后即可良好泛化至其他领域，并可应用于其他文本生成任务，如句子压缩或自然语言生成（NLG）。