[论文解读] Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings

Lu Wang, Claire Cardie|Annual Meeting of the Special Interest Group on Discourse and Dialogue|Jun 24, 2016

Topic Modeling参考文献 39被引用 8

一句话总结

本文提出了一种用于口语会议的无监督、基于标记的决策摘要框架，通过在话语层面进行细粒度主题建模来识别具有摘要价值的词语。结果表明，LocalLDA 和 STM 主题模型在 ROUGE 评分上优于基线话语排序方法和有监督方法，尤其是在引入上下文信息后，其 ROUGE-1 召回率甚至超过了基于决策相关话语的上限基准。

ABSTRACT

We present a token-level decision summarization framework that utilizes the latent topic structures of utterances to identify "summary-worthy" words. Concretely, a series of unsupervised topic models is explored and experimental results show that fine-grained topic models, which discover topics at the utterance-level rather than the document-level, can better identify the gist of the decision-making process. Moreover, our proposed token-level summarization approach, which is able to remove redundancies within utterances, outperforms existing utterance ranking based summarization methods. Finally, context information is also investigated to add additional relevant information to the summary.

研究动机与目标

• 为解决从口语会议中提取简洁、聚焦的决策摘要的挑战，其中话语往往存在不连贯、冗余和不完整的问题。
• 探索无需人工标注训练数据即可识别显著词语和短语的无监督主题建模方法。
• 评估细粒度、话语级别的主题模型是否比传统的文档级别模型更能捕捉决策相关的内容。
• 研究引入对话上下文信息以恢复缺失或隐含的决策组件的影响。
• 开发一种基于标记的摘要框架，使摘要比基于话语的抽取式方法更加紧凑和准确。

提出的方法

• 该框架使用无监督主题模型——特别是 LocalLDA 和 STM（结构化主题模型）——在话语上进行训练，以发现话语层面而非文档层面的潜在主题结构。
• 基于词语在主题中的相关性及其在各主题中的概率分布，选择具有摘要价值的标记，从而实现基于标记的抽取式摘要方法。
• 整合相邻的、非决策相关话语中的上下文信息，以恢复决策组件（如“电源按钮”或“高级芯片”）的缺失内容，这些内容在决策相关话语中未被明确提及。
• 系统使用 ROUGE-1、ROUGE-2 和 ROUGE-SU4 指标与基线方法（最长 DA、原型 DA）及在相同特征上训练的有监督方法（SVM、CRF）进行性能比较。
• 对有监督模型采用交叉验证，结果在多种主题聚类（5 个和 10 个主题）下报告，包括有无上下文信息的情况。
• 该框架在 AMI 会议语料库上进行评估，重点关注与决策相关的对话行为（DRDAs）和人工标准决策摘要。

实验结果

研究问题

• RQ1 话语级别的主题建模是否能在识别口语会议中决策相关的内容方面优于文档级别的主题建模？
• RQ2 引入对话上下文信息是否能提高决策摘要的完整性和准确性？
• RQ3 基于主题模型的无监督基于标记的摘要能否实现与有监督方法相当或更优的性能？
• RQ4 细粒度主题模型（如 LocalLDA 和 STM）在决策摘要的 ROUGE 指标上与传统抽取式方法相比表现如何？
• RQ5 上下文在多大程度上可以弥补决策相关话语中缺失的信息？

主要发现

• 在引入上下文信息后，LocalLDA 和 STM 的 ROUGE-1 召回率分别达到 25.96 和 30.03，高于有监督 CRF（15.25）和 SVM（18.45）方法。
• 加入上下文信息后，LocalLDA 和 STM 的 ROUGE-1 召回率均超过仅基于 DRDAs 计算的上限基准。
• 使用细粒度主题模型的基于标记的摘要方法在所有 ROUGE 指标上均优于话语排序基线方法（如最长 DA、原型 DA）。
• 在上下文信息支持下，STM 模型在 ROUGE-1 F1（24.47）和 ROUGE-SU4 F1（4.76）上均达到最高值，优于所有其他方法。
• 该框架通过利用上下文话语成功恢复了缺失的决策组件（如“高级芯片”和“电源按钮”），证明其具备补偿不完整 DRDAs 的能力。
• 结果表明，在口语会议中捕捉决策相关语义内容方面，话语层面的无监督主题建模比文档层面建模更为有效。