[论文解读] S+PAGE: A Speaker and Position-Aware Graph Neural Network Model for Emotion Recognition in Conversation

Liang Chen, Chong Yang+4 more|arXiv (Cornell University)|Dec 23, 2021

Emotion and Mood Recognition被引用 7

一句话总结

S+PAGE 是一种用于对话情感识别的新型图神经网络模型，通过双流对话 Transformer 和位置感知图卷积网络（PAG），整合说话人身份和话语位置信息。该模型通过联合建模自说话人与跨说话人上下文，并结合关系相对位置编码与基于 CRF 的标签一致性建模，在 IEMOCAP（68.72 F1）和 MELD（63.32 F1）上实现了最先进性能。

ABSTRACT

Emotion recognition in conversation (ERC) has attracted much attention in recent years for its necessity in widespread applications. Existing ERC methods mostly model the self and inter-speaker context separately, posing a major issue for lacking enough interaction between them. In this paper, we propose a novel Speaker and Position-Aware Graph neural network model for ERC (S+PAGE), which contains three stages to combine the benefits of both Transformer and relational graph convolution network (R-GCN) for better contextual modeling. Firstly, a two-stream conversational Transformer is presented to extract the coarse self and inter-speaker contextual features for each utterance. Then, a speaker and position-aware conversation graph is constructed, and we propose an enhanced R-GCN model, called PAG, to refine the coarse features guided by a relative positional encoding. Finally, both of the features from the former two stages are input into a conditional random field layer to model the emotion transfer.

研究动机与目标

• 为解决现有 ERC 模型在同时捕捉自说话人与跨说话人上下文方面的局限性。
• 通过将相对位置编码引入图神经网络，提升对话中细粒度时间依赖关系的建模能力。
• 通过整合上下文建模、说话人依赖学习与标签一致性建模，提升情感识别性能。
• 实现对大规模多说话人对话的高效且鲁棒的处理。

提出的方法

• 使用带有注意力掩码的双流对话 Transformer（TSCT）提取粗粒度的自说话人与跨说话人上下文特征。
• 基于话语顺序与说话人身份构建说话人与位置感知的对话图。
• 提出一种增强型关系 GCN，称为 PAG，结合关系相对位置编码，利用细粒度时间信息优化特征。
• PAG 模型在消息传递过程中整合说话人身份与相对位置信息，以捕捉长距离依赖关系与情感影响模式。
• 使用条件随机场（CRF）层建模话语间的情感标签转移，以强化预测标签的一致性。
• 最终模型结合 TSCT 与 PAG 的特征，实现端到端的情感分类。

实验结果

研究问题

• RQ1 统一模型能否有效捕捉多轮对话中自说话人与跨说话人上下文依赖关系？
• RQ2 将相对位置编码引入图神经网络在 ERC 中如何改善时间建模？
• RQ3 联合建模上下文特征与标签一致性在多大程度上提升情感识别性能？
• RQ4 所提出的架构与现有 SOTA 模型相比，在标准 ERC 基准上的表现如何？

主要发现

• S+PAGE 在 IEMOCAP 数据集上取得 68.72 的加权 F1 分数，优于以往最先进方法。
• 在 MELD 数据集上，S+PAGE 取得 63.32 的加权 F1 分数，展现出在多样化对话风格下的强大泛化能力。
• 消融实验表明，移除双流对话 Transformer 导致 IEMOCAP 上下降 0.89 分，MELD 上下降 1.47 分，证实其在多说话人场景中的重要性。
• 移除 PAG 模块导致 IEMOCAP 上显著下降 4.58 分，MELD 上下降 2.25 分，凸显其在说话人依赖与时间建模中的关键作用。
• CRF 层贡献显著，移除后 IEMOCAP 上 F1 分数下降 0.65 分，表明标签一致性建模可有效提升性能。
• 模型在不同窗口大小下保持稳定性能，波动极小，展现出对长距离上下文变化的鲁棒性。