[论文解读] Polarity and Intensity: the Two Aspects of Sentiment Analysis

Leimin Tian, Catherine Lai+1 more|arXiv (Cornell University)|Jul 4, 2018

Sentiment Analysis and Opinion Mining参考文献 18被引用 4

一句话总结

该论文提出了一种多任务学习框架，将情感分数分解为极性与强度两个方面，表明单模态和多模态模型在联合预测这些分量时均能获益。在CMU-MOSI数据集上的实验表明，视觉模态在传达强度方面表现较弱，而语音和语言模态在传达极性方面表现较弱，模态融合通过结合互补优势提升了性能。

ABSTRACT

Current multimodal sentiment analysis frames sentiment score prediction as a general Machine Learning task. However, what the sentiment score actually represents has often been overlooked. As a measurement of opinions and affective states, a sentiment score generally consists of two aspects: polarity and intensity. We decompose sentiment scores into these two aspects and study how they are conveyed through individual modalities and combined multimodal models in a naturalistic monologue setting. In particular, we build unimodal and multimodal multi-task learning models with sentiment score prediction as the main task and polarity and/or intensity classification as the auxiliary tasks. Our experiments show that sentiment analysis benefits from multi-task learning, and individual modalities differ when conveying the polarity and intensity aspects of sentiment.

研究动机与目标

• 探究将极性和强度作为辅助任务引入多任务学习是否能提升情感分数预测性能。
• 分析不同模态（语音、视觉、语言）在传达情感的极性与强度方面是否存在差异。
• 理解多任务学习是否以不同方式影响单模态与多模态模型的情感分析性能。
• 提供对多模态情感交流中模态内与模态间动态关系的细致理解。
• 探索情感方面（极性/强度）与情绪维度（效价/唤醒）在人类多模态交流中的关联。

提出的方法

• 提出一种多任务学习框架，情感分数回归为主任务，极性和/或强度分类为辅助任务。
• 在CMU-MOSI数据集上，采用早期融合、晚期融合及早-晚融合策略，训练单模态模型（语音、视觉、语言）和多模态融合模型。
• 使用平均绝对误差（MAE）和皮尔逊相关系数（CC）作为情感分数预测的评估指标。
• 对分类任务（极性和强度）使用交叉熵损失，对回归任务（情感分数）使用均方误差损失。
• 在任务间采用共享表示学习策略，以提升泛化能力与特征对齐。
• 比较不同融合策略（早期、晚期、早-晚融合）以及是否包含辅助任务下的性能表现。

实验结果

研究问题

• RQ1 当将极性和强度作为辅助任务时，情感分数预测是否受益于多任务学习？
• RQ2 不同模态是否以不同方式传达情感的极性和强度？
• RQ3 多任务学习是否以不同方式影响单模态与多模态情感分析模型？
• RQ4 各模态在传达极性和强度方面的优势如何影响模态间融合的性能？
• RQ5 模态在传达情感方面与传达情绪维度（如效价/唤醒）之间是否存在平行关系？

主要发现

• 所有单模态模型在引入极性和/或强度作为辅助任务的多任务学习设置下，情感分数预测性能均得到提升。
• 视觉模态在传达强度方面显著弱于极性，而语音和语言模态在传达极性方面表现较弱。
• 多模态模型从模态融合中获益，但多任务学习带来的性能提升在多模态模型中不如在单模态模型中明显，表明融合可弥补模态特异性缺陷。
• 表现最佳的模型（同时以极性和强度作为辅助任务的早期融合）在CMU-MOSI测试集上达到0.482的皮尔逊相关系数（CC）和1.172的MAE。
• 人类在相同任务上的表现为CC=0.820和MAE=0.710，表明自动化系统仍有显著提升空间。
• 结果支持情感方面（极性/强度）与情绪维度（效价/唤醒）之间在概念与实证层面的关联，且在两个领域中均观察到相似的模态特异性模式。