[论文解读] The Influence of Context on Dialogue Act Recognition

Eugénio Ribeiro, Ricardo Ribeiro+1 more|arXiv (Cornell University)|Jun 2, 2015

Speech and dialogue systems参考文献 30被引用 19

一句话总结

本文研究了先前对话片段中的上下文如何通过在Switchboard语料库和ISO 24617-2标准标注数据上使用基于SVM的分类方法，提升对话行为识别性能。研究发现，上下文，尤其是先前对话行为标签的形式，显著提升了性能，其中第一个前序片段最为关键，其影响随距离增加呈指数衰减，最终在Switchboard上实现了最先进水平的结果，并为标准化评估建立了基线。

ABSTRACT

This article presents an analysis of the influence of context information on dialog act recognition. We performed experiments on the widely explored Switchboard corpus, as well as on data annotated according to the recent ISO 24617-2 standard. The latter was obtained from the Tilburg DialogBank and through the mapping of the annotations of a subset of the Let's Go corpus. We used a classification approach based on SVMs, which had proved successful in previous work and allowed us to limit the amount of context information provided. This way, we were able to observe the influence patterns as the amount of context information increased. Our base features consisted of n-grams, punctuation, and wh-words. Context information was obtained from one to five preceding segments and provided either as n-grams or dialog act classifications, with the latter typically leading to better results and more stable influence patterns. In addition to the conclusions about the importance and influence of context information, our experiments on the Switchboard corpus also led to results that advanced the state-of-the-art on the dialog act recognition task on that corpus. Furthermore, the results obtained on data annotated according to the ISO 24617-2 standard define a baseline for future work and contribute for the standardization of experiments in the area.

研究动机与目标

• 研究先前对话片段中的上下文如何影响对话行为识别的性能。
• 评估不同上下文表示形式（n-gram、标点符号、wh-词和对话行为标签）对分类准确率的影响。
• 在依据ISO 24617-2标准标注的数据上，建立对话行为识别的性能基线。
• 评估基于上下文的改进在不同语料库和语言类型中的鲁棒性与泛化能力。
• 通过引入上下文感知特征，推进Switchboard语料库上对话行为识别的最先进水平。

提出的方法

• 采用基于SVM的监督分类方法，基础特征包括n-gram、标点符号和wh-词。
• 通过前1至5个对话片段的n-gram或对话行为标签表示上下文信息。
• 通过标注段落距离，将上下文特征与当前段落特征区分开来。
• 使用准确率作为主要指标，在多个语料库和标注集上评估性能。
• 同时采用人工标注和自动生成标注，以评估鲁棒性。
• 采用ISO 24617-2标准统一不同数据集的标注方式，实现标准化评估。

实验结果

研究问题

• RQ1 在对话行为识别中，包含先前对话片段的上下文信息如何影响识别准确率？
• RQ2 在n-gram与对话行为标签两种上下文表示形式中，哪种能带来更好的性能和更稳定的影响力模式？
• RQ3 先前对话片段对当前对话行为分类的影响有效范围是什么？
• RQ4 在使用ISO 24617-2标准标注的数据时，上下文信息如何影响识别性能？
• RQ5 基于上下文的改进在不同语料库和语言之间具有多大程度的泛化能力？

主要发现

• 先前对话片段提供的上下文信息显著提升了对话行为识别的准确率，其中第一个前序片段信息量最大。
• 使用先前对话行为标签作为上下文，相比基于n-gram的上下文表示，性能更优且影响模式更稳定。
• 先前对话片段对分类性能的影响随距离增加呈指数衰减，超过第三个前序片段后收益递减。
• 基于对话行为标签的方法在所有标注集变体中均在Switchboard语料库上达到了最先进水平。
• 在ISO 24617-2标注数据中引入任务维度之外的上下文维度，带来了最多2个百分点的轻微、非显著准确率提升。
• 即使使用自动生成的标注，也观察到了相同的影响力模式，表明该方法对标注质量变化具有鲁棒性。