[论文解读] Structure-Aware Abstractive Conversation Summarization via Discourse and Action Graphs

Jiaao Chen, Diyi Yang|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 53被引用 8

一句话总结

本文提出了一种结构感知的生成式对话摘要模型，通过利用话语关系图和行为图来提升摘要质量。通过使用图注意力网络对话语级话语关系和说话人-行为-事件三元组进行编码，并采用多粒度解码器，该方法在SAMSum数据集上实现了最先进性能，并在辩论摘要任务中展现出良好的泛化能力，在自动评估与人工评估中均优于强基线模型。

ABSTRACT

Abstractive conversation summarization has received much attention recently. However, these generated summaries often suffer from insufficient, redundant, or incorrect content, largely due to the unstructured and complex characteristics of human-human interactions. To this end, we propose to explicitly model the rich structures in conversations for more precise and accurate conversation summarization, by first incorporating discourse relations between utterances and action triples ("who-doing-what") in utterances through structured graphs to better encode conversations, and then designing a multi-granularity decoder to generate summaries by combining all levels of information. Experiments show that our proposed models outperform state-of-the-art methods and generalize well in other domains in terms of both automatic evaluations and human judgments. We have publicly released our code at https://github.com/GT-SALT/Structure-Aware-BART.

研究动机与目标

• 为解决从非结构化、复杂的人类对话中生成简洁、准确且信息丰富的生成式摘要的挑战。
• 显式建模话语之间的话语关系以及说话人-行为-事件三元组，以增强表征学习。
• 设计一种多粒度解码器，整合来自话语、话语图和行为图的信息，以提升摘要生成效果。
• 在多种对话类型上评估所提出的结构感知方法的有效性与泛化能力。

提出的方法

• 使用16种基于依存关系的话语关系类型在话语单元（EDUs）之间构建话语关系图，捕捉如问题-回答和解释等关系。
• 从从话语中提取的“谁-做什么-什么”三元组构建行为图，以显式建模说话人角色与行为。
• 使用图注意力网络（GATs）对两类图进行编码，学习与BART编码器的序列级编码相辅相成的结构化表征。
• 设计一种多粒度解码器，可并行关注话语级表征、话语图和行为图，以生成摘要。
• 采用ReZero初始化方法以稳定训练过程，并有效学习图增强表征。
• 在SAMSum数据集上端到端进行微调，并在ADCS辩论数据集上评估零样本性能。

实验结果

研究问题

• RQ1 话语关系图是否能提升生成式对话摘要中关键内容的识别能力？
• RQ2 行为图是否能通过建模说话人-行为-事件关系来增强事实一致性？
• RQ3 结合话语图与行为图是否能带来优于单独使用任一图的摘要性能？
• RQ4 该结构感知模型在辩论等非领域对话类型上的泛化能力如何？
• RQ5 每类图对最终摘要生成的贡献如何？它们在解码过程中的交互机制是怎样的？

主要发现

• 所提出的S-BART模型在SAMSum数据集上结合话语图与行为图，实现了最先进ROUGE分数，优于包括BART在内的多种强基线模型。
• 消融实验表明，话语图与行为图各自均能独立提升性能，且两者结合效果最佳。
• 模型在ROUGE-1、ROUGE-2和ROUGE-L指标上均有显著提升，尤其在具有更多话语边与行为三元组的复杂对话中表现更优。
• 在ADCS辩论数据集上的零样本评估结果证实了模型在对话领域外任务中的良好泛化能力。
• ReZero权重的可视化显示，行为图对最终输出的贡献大于话语图，且两者结合后注意力权重更高，证实了其互补作用。
• 在自动指标与人工评估中，该模型均优于基线模型，尤其在减少事实性错误与冗余方面表现突出。