[论文解读] TODSum: Task-Oriented Dialogue Summarization with State Tracking

Lulu Zhao, Fujia Zheng+8 more|arXiv (Cornell University)|Oct 25, 2021

Topic Modeling参考文献 39被引用 7

一句话总结

本文提出了 TODSum，一个大规模公开的任务导向对话摘要数据集，结合了结构化对话状态追踪，以提升摘要的事实一致性。该研究提出了一种状态感知的结构化对话摘要模型，通过对话状态编码器和交叉注意力机制整合对话历史与状态信息，在事实忠实度和摘要质量方面显著优于基线模型。

ABSTRACT

Previous dialogue summarization datasets mainly focus on open-domain chitchat dialogues, while summarization datasets for the broadly used task-oriented dialogue haven't been explored yet. Automatically summarizing such task-oriented dialogues can help a business collect and review needs to improve the service. Besides, previous datasets pay more attention to generate good summaries with higher ROUGE scores, but they hardly understand the structured information of dialogues and ignore the factuality of summaries. In this paper, we introduce a large-scale public Task-Oriented Dialogue Summarization dataset, TODSum, which aims to summarize the key points of the agent completing certain tasks with the user. Compared to existing work, TODSum suffers from severe scattered information issues and requires strict factual consistency, which makes it hard to directly apply recent dialogue summarization models. Therefore, we introduce additional dialogue state knowledge for TODSum to enhance the faithfulness of generated summaries. We hope a better understanding of conversational content helps summarization models generate concise and coherent summaries. Meanwhile, we establish a comprehensive benchmark for TODSum and propose a state-aware structured dialogue summarization model to integrate dialogue state information and dialogue history. Exhaustive experiments and qualitative analysis prove the effectiveness of dialogue structure guidance. Finally, we discuss the current issues of TODSum and potential development directions for future work.

研究动机与目标

• 为解决当前缺乏公开可用的大规模任务导向对话（TOD）摘要数据集的问题，此类数据集在客户服务等现实应用场景中被广泛使用。
• 克服现有摘要数据集仅关注 ROUGE 分数而忽略结构化对话信息（如意图和槽位）的局限性。
• 通过整合对话状态知识，特别是在存在协商、重复和多领域交互的情况下，提升生成摘要的事实一致性。
• 建立一个全面的对话摘要基准，强调忠实度、连贯性和信息量，而不仅仅是流畅性。
• 开发一种状态感知模型，利用结构化对话状态指导生成式摘要，减少事实性错误。

提出的方法

• 提出 TODSum，一个大规模、公开可用的任务导向对话摘要数据集，包含标注的对话状态信息，涵盖意图和槽位内容。
• 设计一种新型对话状态编码器，有效表征多轮对话中的结构化对话状态特征。
• 设计基于对话状态的交叉注意力机制，引导解码器关注相关对话状态和历史，提升事实基础性。
• 开发一种状态感知的结构化对话摘要模型，联合编码对话历史与对话状态，用于生成式摘要。
• 采用多轮对话理解框架，建模对话中的协商动态与意图演化过程。
• 引入基于对话状态对齐的新事实一致性评估指标，以更准确评估摘要的忠实度。

实验结果

研究问题

• RQ1 如何有效将对话状态信息整合到生成式对话摘要中，以提升事实一致性？
• RQ2 结构化对话状态引导在多大程度上能减少生成摘要中的事实错误和冗余？
• RQ3 在 TODSum 上训练的模型是否能在多个领域（如酒店、餐厅、出租车）之间实现泛化，同时保持连贯性和信息量？
• RQ4 所提出的感知状态模型在流畅性、信息量和事实正确性方面与强基线模型相比表现如何？
• RQ5 当前模型在 TODSum 上的主要失败模式是什么？通过更优的结构建模能否有效解决这些问题？

主要发现

• 所提出的感知状态模型在 TODSum 基准上的人工评估中，事实一致性（4.12）、流畅性（4.41）、信息量（4.36）和冗余度（3.63）均取得最高分。
• 该模型显著优于强基线模型（如 BART 和 BART 搭配对话状态预测），在事实一致性方面较 BART 提升 0.83 分，较 BART 搭配预测状态的模型提升 0.84 分。
• 人工评估确认，该模型通过有效利用对话状态信息，生成了更简洁、连贯且事实准确的摘要。
• 错误分析显示，与基线相比，该模型在协商密集型对话中显著减少了信息缺失和推理失败。
• 该模型在冗余问题上仍存在挑战，尤其在过度表示黄金摘要中未出现的领域和意图方面，表明需要更优的过滤机制。
• 本研究识别出三种主要错误类型：信息缺失、跨轮次推理不足以及冗余，凸显了未来研究的关键挑战。