[论文解读] PVG at WASSA 2021: A Multi-Input, Multi-Task, Transformer-Based Architecture for Empathy and Distress Prediction

Atharva Kulkarni, Sunanda Somwase+2 more|arXiv (Cornell University)|Mar 4, 2021

Mental Health via Writing参考文献 27被引用 5

一句话总结

本文提出了一种多输入、多任务的基于Transformer的模型，整合了文本、人口统计学、心理测试分数和词汇特征，以从新闻故事中预测共情与痛苦程度。通过联合学习基本情绪分类与共情/痛苦回归任务，该模型在WASSA 2021共享任务中取得最先进性能，平均相关系数达0.545，痛苦相关系数达0.574（排名第一），共情相关系数达0.517（排名第二）。

ABSTRACT

Active research pertaining to the affective phenomenon of empathy and distress is invaluable for improving human-machine interaction. Predicting intensities of such complex emotions from textual data is difficult, as these constructs are deeply rooted in the psychological theory. Consequently, for better prediction, it becomes imperative to take into account ancillary factors such as the psychological test scores, demographic features, underlying latent primitive emotions, along with the text's undertone and its psychological complexity. This paper proffers team PVG's solution to the WASSA 2021 Shared Task on Predicting Empathy and Emotion in Reaction to News Stories. Leveraging the textual data, demographic features, psychological test score, and the intrinsic interdependencies of primitive emotions and empathy, we propose a multi-input, multi-task framework for the task of empathy score prediction. Here, the empathy score prediction is considered the primary task, while emotion and empathy classification are considered secondary auxiliary tasks. For the distress score prediction task, the system is further boosted by the addition of lexical features. Our submission ranked 1$^{st}$ based on the average correlation (0.545) as well as the distress correlation (0.574), and 2$^{nd}$ for the empathy Pearson correlation (0.517).

研究动机与目标

• 通过融合多模态与心理特征，提升对新闻故事引发的复杂情感状态（共情与痛苦）的预测能力。
• 探究建模原始情绪与共情/痛苦之间依赖关系是否能提升回归性能。
• 评估NRC与Empath词汇特征对共情与痛苦预测的影响。
• 开发一种参数量少于110k的轻量化、高效深度学习架构，适用于情感计算任务。
• 在WASSA 2021共享任务基准上实现高性能的共情与痛苦预测。

提出的方法

• 采用多输入架构，通过RoBERTa处理文本输入，同时结合类别型特征（如性别）与数值型特征（如心理测试分数），生成统一表征。
• 采用多任务学习框架，联合执行三项任务：(1) 基本情绪分类（六种类别），(2) 高共情/高痛苦二分类，(3) 对Batson共情关心与个人痛苦分数进行回归。
• 模型使用共享的Transformer编码器与任务特定头，实现参数共享与跨任务知识迁移。
• 将来自NRC情绪强度词典、NRC效价/唤醒/主导性词典以及Empath的词汇特征，与RoBERTa嵌入拼接，以增强输入表征。
• 采用Adam优化器进行端到端训练，初始固定学习率为1×10⁻³，配合早停法与学习率衰减策略，并对RoBERTa层应用权重冻结。
• 应用L2正则化与Dropout（0.2）以防止过拟合，最终模型基于验证损失选择最优模型。

实验结果

研究问题

• RQ1 整合人口统计学与心理测试分数是否能提升对文本内容中共情与痛苦的预测性能？
• RQ2 将原始情绪作为辅助任务建模，是否能提升共情与痛苦回归的性能？
• RQ3 NRC与Empath词典中的词汇特征对共情与痛苦预测性能有何影响？
• RQ4 与单任务或单输入模型相比，多输入、多任务的Transformer架构在情感状态回归任务中是否更具有效性？
• RQ5 为何添加词汇特征会降低共情预测性能但提升痛苦预测性能？

主要发现

• 多输入、多任务的Transformer模型在WASSA 2021测试集上实现了0.517的共情预测皮尔逊相关系数，排名第二。
• 模型在痛苦预测上的相关系数达到0.574，位居共享任务第一，平均相关系数0.545，同样排名第一。
• 引入人口统计学与心理特征后，性能优于单纯的RoBERTa基线模型，证实了这些特征的预测价值。
• 多任务学习设置带来了显著的性能提升，表明原始情绪与复杂情感状态之间的共享表征具有重要价值。
• 添加词汇特征（NRC + Empath）提升了痛苦预测性能（0.53 vs. 0.49），但降低了共情相关系数（0.64 vs. 0.74），表明共情相关词汇特征可能存在噪声或偏差。
• 参数量少于110k的模型仍实现了优异性能，表明其在参数约束下具备高效性与良好泛化能力。