[论文解读] Utterance-level Dialogue Understanding: An Empirical Study

Deepanway Ghosal, Navonil Majumder+2 more|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 40被引用 15

一句话总结

本文提出一种基于双向LSTM（bcLSTM）的统一基线模型，用于研究在情绪、意图和对话行为分类等话语级理解任务中上下文的作用。通过系统性地扰动上下文，研究发现上下文显著提升了模型性能，尤其在处理标签依赖性和话语位置效应方面表现突出，同时揭示了在可解释性和跨多样化对话动态泛化方面的局限性。

ABSTRACT

The recent abundance of conversational data on the Web and elsewhere calls for effective NLP systems for dialog understanding. Complete utterance-level understanding often requires context understanding, defined by nearby utterances. In recent years, a number of approaches have been proposed for various utterance-level dialogue understanding tasks. Most of these approaches account for the context for effective understanding. In this paper, we explore and quantify the role of context for different aspects of a dialogue, namely emotion, intent, and dialogue act identification, using state-of-the-art dialog understanding methods as baselines. Specifically, we employ various perturbations to distort the context of a given utterance and study its impact on the different tasks and baselines. This provides us with insights into the fundamental contextual controlling factors of different aspects of a dialogue. Such insights can inspire more effective dialogue understanding models, and provide support for future text generation approaches. The implementation pertaining to this work is available at https://github.com/declare-lab/dialogue-understanding.

研究动机与目标

• 建立一个统一的基线，用于话语级对话理解任务，包括情绪识别、意图分类和对话行为识别。
• 通过系统性扰动策略，研究上下文如何影响不同对话理解任务中模型的行为。
• 在对抗性和结构性上下文扰动下，比较上下文模型（如bcLSTM）与非上下文基线的鲁棒性。
• 评估训练数据采样策略——对话级与话语级小批量——对模型性能的影响。
• 为未来模型设计与可解释性研究提供关于对话理解基本上下文因素的洞见。

提出的方法

• 在所有话语级对话任务中采用统一的bcLSTM基线模型，以确保任务与数据集之间的一致性比较。
• 应用多种上下文扰动技术：话语顺序打乱、上下文掩码、反转上下文顺序以及移除话语，以评估模型的敏感性。
• 通过对抗性探测测试模型鲁棒性，引入偏离自然上下文模式的扰动。
• 比较两种小批量创建策略：对话级（将整个对话作为小批量）与话语级（将单个话语作为小批量）的训练过程。
• 通过不同上下文条件下注意力与表征动态的定性与定量分析，研究模型行为。
• 在情绪、意图和对话行为分类的基准数据集上评估性能，重点关注上下文依赖性与位置效应。

实验结果

研究问题

• RQ1 在情绪、意图和对话行为分类任务中，上下文如何影响统一bcLSTM基线模型的性能？
• RQ2 上下文模型在面对对话上下文的对抗性与结构性扰动时，其鲁棒性如何？
• RQ3 不同上下文扰动策略（如打乱、掩码、反转）如何影响模型预测与置信度分数？
• RQ4 训练数据采样策略（对话级 vs. 话语级小批量）对模型泛化能力与性能有何影响？
• RQ5 标签依赖性与话语在对话中的位置如何影响模型预测与上下文利用？

主要发现

• 如bcLSTM等上下文模型在所有对话理解任务中显著优于非上下文基线，表明上下文在准确预测中起着关键作用。
• 模型对上下文顺序与位置高度敏感，对话中间话语的分类准确率高于开头或结尾的话语。
• 对抗性扰动（如上下文打乱或掩码）导致性能显著下降，表明模型依赖连贯、有序的上下文进行可靠预测。
• 标签依赖性是强影响因素——当预测标签与对话中先前标签序列一致时，模型准确性更高。
• 对话级小批量训练始终优于话语级训练，表明建模完整对话有助于提升上下文学习与泛化能力。
• 本研究揭示，当前模型无法解释上下文被使用的方式与位置，凸显了尽管性能优异，但在可解释性方面仍存在关键空白。