[论文解读] Summarizing Decisions in Spoken Meetings

Lu Wang, Claire Cardie|arXiv (Cornell University)|Jun 25, 2016

Topic Modeling参考文献 24被引用 12

一句话总结

本文提出了一种从语音会议中生成简洁决策摘要的框架，通过聚类与决策相关的对话行为（DRDAs），并在对话行为（DA）和词元（token）层面应用有监督与无监督的摘要生成方法。研究发现，结合语篇上下文的词元级摘要方法在性能上接近黄金标准对话行为摘要，而基于无监督LDA的聚类方法生成的摘要与有监督SVM聚类方法相当（ROUGE-F1分别为0.22与0.23）。

ABSTRACT

This paper addresses the problem of summarizing decisions in spoken meetings: our goal is to produce a concise {\it decision abstract} for each meeting decision. We explore and compare token-level and dialogue act-level automatic summarization methods using both unsupervised and supervised learning frameworks. In the supervised summarization setting, and given true clusterings of decision-related utterances, we find that token-level summaries that employ discourse context can approach an upper bound for decision abstracts derived directly from dialogue acts. In the unsupervised summarization setting,we find that summaries based on unsupervised partitioning of decision-related utterances perform comparably to those based on partitions generated using supervised techniques (0.22 ROUGE-F1 using LDA-based topic models vs. 0.23 using SVMs).

研究动机与目标

• 为解决在语音会议中生成简洁、可解释的决策摘要所面临的挑战，这些决策通常零散且交错出现。
• 比较无监督与有监督方法在聚类与摘要生成决策相关对话行为（DRDAs）方面的有效性。
• 评估引入语篇上下文是否能提升决策摘要的质量与可解释性。
• 探究在已知真实聚类的情况下，词元级摘要是否优于DA级摘要。
• 确定无监督聚类（如LDA）是否能生成与有监督聚类（如SVM）质量相当的决策摘要。

提出的方法

• 使用无监督方法（TF-IDF、LDA）与有监督方法（SVM、MaxEnt、CRF）对DRDAs进行聚类，以按决策分组话语。
• 通过从每个聚类中选择最具信息量的DRDAs并进行拼接，实现DA级摘要。
• 使用有监督模型（SVM、MaxEnt）进行词元级摘要，将选定的DRDAs压缩为简洁的决策摘要。
• 引入语篇上下文（前20个相关DA）以提升摘要的质量与可解释性。
• 使用ROUGE-F1进行评估，将系统输出与AMI会议语料库中的黄金标准决策摘要进行比较。
• 在AMI会议语料库上进行实验，并对功能词与聚类方法进行消融研究。

实验结果

研究问题

• RQ1 无监督聚类决策相关对话行为（DRDAs）是否能生成与有监督聚类质量相当的决策摘要？
• RQ2 在词元级摘要中，引入语篇上下文是否能提升摘要的质量与可解释性？
• RQ3 在已知真实聚类的情况下，词元级摘要是否优于DA级摘要？
• RQ4 不同摘要框架（无监督 vs. 有监督）在ROUGE-F1性能上的表现如何比较？
• RQ5 功能词在多大程度上影响摘要性能？其移除是否能提升结果？

主要发现

• 在使用SVM摘要与真实聚类的情况下，结合语篇上下文的词元级摘要可达到0.23的ROUGE-F1，接近基于对话行为摘要的上限。
• 基于无监督LDA的聚类生成的决策摘要ROUGE-F1为0.2214，与有监督SVM聚类（0.2349）和CRF聚类（0.1935）相当。
• 当真实聚类不可用时，DA级摘要优于词元级摘要；但当聚类准确时，词元级摘要表现更优。
• 语篇上下文能提升词元级摘要的性能，但对DA级摘要的提升不显著。
• 从黄金标准摘要中移除功能词并未带来显著的性能提升，表明词汇不匹配并非主要影响因素。
• SVM在所有摘要任务中均表现优于或至少不逊于CRF，表明其在决策摘要中的鲁棒性。