[论文解读] PT-CoDE: Pre-trained Context-Dependent Encoder for Utterance-level Emotion Recognition

Wenxiang Jiao, Michael R. Lyu+1 more|arXiv (Cornell University)|Oct 20, 2019

Topic Modeling参考文献 28被引用 8

一句话总结

本文提出 PT-CoDE，一种用于话语级情绪识别（ULER）的预训练上下文相关编码器，采用分层架构，包含话语编码器和对话编码器。该方法在电影字幕数据上引入了‘对话补全’（CoCo）预训练任务，以学习上下文表示，通过无监督预训练显著提升了五个 ULER 数据集上的性能。

ABSTRACT

Utterance-level emotion recognition (ULER) is a significant research topic for understanding human behaviors and developing empathetic chatting machines in the artificial intelligence area. Unlike traditional text classification problem, this task is supported by a limited number of datasets, among which most contain inadequate conversations or speeches. Such a data scarcity issue limits the possibility of training larger and more powerful models for this task. Witnessing the success of transfer learning in natural language process (NLP), we propose to pre-train a context-dependent encoder (CoDE) for ULER by learning from unlabeled conversation data. Essentially, CoDE is a hierarchical architecture that contains an utterance encoder and a conversation encoder, making it different from those works that aim to pre-train a universal sentence encoder. Also, we propose a new pre-training task named "conversation completion" (CoCo), which attempts to select the correct answer from candidate answers to fill a masked utterance in a question conversation. The CoCo task is carried out on pure movie subtitles so that our CoDE can be pre-trained in an unsupervised fashion. Finally, the pre-trained CoDE (PT-CoDE) is fine-tuned for ULER and boosts the model performance significantly on five datasets.

研究动机与目标

• 为解决话语级情绪识别（ULER）中标签数据有限的问题，该问题阻碍了上下文相关模型的训练。
• 开发一种分层编码器架构，以捕捉话语级和对话级上下文信息，区别于通用句子编码器。
• 通过在大规模电影字幕上引入新任务——“对话补全”——实现在无监督设置下的 ULER 预训练。
• 通过迁移学习提升模型在低资源 ULER 数据集上的泛化能力和性能。

提出的方法

• 提出两阶段分层编码器：话语编码器用于生成上下文无关的嵌入，对话编码器用于生成上下文相关的表示。
• 引入“对话补全”（CoCo）预训练任务，即从候选回复中预测对话中被掩码的话语。
• 在纯电影字幕上进行模型预训练，无需人工标注，利用自然对话结构实现自监督学习。
• 在五个 ULER 数据集上微调预训练模型（PT-CoDE），以适应情绪分类任务。
• 在 CoCo 任务中采用对比学习设置，从包含原始和噪声话语的候选集中选择正确回复。
• 为话语编码器和对话编码器均采用双向 Transformer 架构，以捕捉长距离依赖关系。

实验结果

研究问题

• RQ1 在大规模无标签对话上预训练的上下文相关编码器，是否能提升低资源话语级情绪识别任务的性能？
• RQ2 所提出的“对话补全”（CoCo）任务在学习 ULER 有意义的上下文表示方面有多有效？
• RQ3 分别预训练话语编码器和对话编码器是否比从随机初始化开始训练获得更好的性能？
• RQ4 PT-CoDE 在多大程度上缓解了类别不平衡问题，并提升了对 ULER 中次要情绪类别的检测能力？
• RQ5 在 ULER 数据资源有限的背景下，模型规模如何影响预训练带来的性能增益？

主要发现

• PT-CoDE 在五个 ULER 数据集上均取得显著性能提升，所有情况下均优于基线模型 CoDE。
• 在 IEMOCAP 数据集上，PT-CoDE 的 F1 得分为 81.5±0.4，比基线 CoDE（78.6±1.3）高出 2.9 个百分点的绝对提升。
• 在 Friends 数据集上，PT-CoDE 的 F1 得分为 65.9±0.7，比 CoDE（62.4±0.4）高出 3.5 个百分点的绝对提升。
• 仅预训练话语编码器（CoDE+PT-U）在 IEMOCAP 上使 F1 提升 1.5%，在 Friends 上提升 2.4%，表明预训练话语特征具有显著优势。
• 重新训练词嵌入层（PT-CoDE+RT-W）在 Friends 数据集上导致性能下降 1.4%，表明微调词嵌入可能破坏已学习的表示。
• 定性分析表明，与 CoDE 相比，PT-CoDE 更好地识别了 Sad 和 Joy 等次要情绪类别，尤其在标点符号较少或语义模糊的话语中。