[论文解读] Two-level Attention with Two-stage Multi-task Learning for Facial Emotion Recognition

Xiaohua Wang, Muzi Peng+4 more|arXiv (Cornell University)|Nov 29, 2018

Emotion and Mood Recognition参考文献 1被引用 10

一句话总结

本文提出了一种两级注意力与两阶段多任务学习框架（2Att-2Mt），用于从静态图像中进行面部情绪识别，通过引入位置级别和层级级别的注意力机制来增强特征表示，同时利用多任务学习联合预测效价与唤醒度。该方法在AffectNet数据集上取得了最先进性能，效价的CCC为0.714，唤醒度的CCC为0.556，展现出卓越的鲁棒性与泛化能力。

ABSTRACT

Compared with facial emotion recognition on categorical model, the dimensional emotion recognition can describe numerous emotions of the real world more accurately. Most prior works of dimensional emotion estimation only considered laboratory data and used video, speech or other multi-modal features. The effect of these methods applied on static images in the real world is unknown. In this paper, a two-level attention with two-stage multi-task learning (2Att-2Mt) framework is proposed for facial emotion estimation on only static images. Firstly, the features of corresponding region(position-level features) are extracted and enhanced automatically by first-level attention mechanism. In the following, we utilize Bi-directional Recurrent Neural Network(Bi-RNN) with self-attention(second-level attention) to make full use of the relationship features of different layers(layer-level features) adaptively. Owing to the inherent complexity of dimensional emotion recognition, we propose a two-stage multi-task learning structure to exploited categorical representations to ameliorate the dimensional representations and estimate valence and arousal simultaneously in view of the correlation of the two targets. The quantitative results conducted on AffectNet dataset show significant advancement on Concordance Correlation Coefficient(CCC) and Root Mean Square Error(RMSE), illustrating the superiority of the proposed framework. Besides, extensive comparative experiments have also fully demonstrated the effectiveness of different components.

研究动机与目标

• 解决在真实世界（野外）环境下从静态图像中实现精确的维度化面部情绪识别的挑战。
• 通过仅依赖静态图像而非视频、语音或多模态数据，克服先前方法的局限性。
• 通过整合位置级别与层级级别的注意力机制，提升特征表示能力，以捕捉空间关系与层次化关系。
• 利用分类情绪与维度情绪表示之间的相关性，提升效价与唤醒度回归性能。
• 在回归阶段使用Tukey的双权损失函数，增强模型对噪声或误标样本的鲁棒性。

提出的方法

• 采用残差注意力模块，自动从面部图像中提取并增强位置级别特征（区域特征）。
• 使用双向RNN结合自注意力机制，建模长距离依赖关系，并捕捉不同网络层之间特征的关系（层级特征）。
• 实施两阶段多任务学习结构：首先预测分类情绪（如Ekman的六种基本情绪），然后利用这些预测结果引导并优化连续效价与唤醒度的回归。
• 通过共享头与任务特定头联合回归效价与唤醒度，利用其内在相关性以提升泛化能力。
• 在回归阶段应用Tukey的双权损失函数，以抑制异常值或误标样本的影响，增强模型鲁棒性。
• 在AffectNet数据集上以48×48输入分辨率端到端训练整个框架。

实验结果

研究问题

• RQ1 两级注意力机制是否能有效提升静态图像上面部情绪识别的特征表示？
• RQ2 将分类情绪预测引入效价与唤醒度回归中，是否能提升维度情绪估计的性能？
• RQ3 两阶段多任务学习结构在利用效价、唤醒度与分类情绪之间相关性方面有多高效？
• RQ4 Tukey的双权损失函数在多大程度上提升了对噪声或误标数据的鲁棒性？
• RQ5 所提出的框架是否能在不重新训练的情况下良好泛化至维度化与分类化情绪识别任务？

主要发现

• 所提出的2Att-2Mt框架在AffectNet数据集上实现了效价的组内相关系数（CCC）为0.714，唤醒度的CCC为0.556，显著优于基线方法。
• 采用Tukey的双权损失函数相比MSE损失使平均CCC提升了0.005（0.635 vs. 0.625），证明其对异常值具有更强的鲁棒性。
• 两阶段多任务学习结构通过利用分类表示来引导连续情绪回归，显著提升了性能，尤其在更具挑战性的唤醒度预测中表现突出。
• 在不改变网络架构的前提下，模型在直接面部表情分类（7分类）任务上达到了0.48的准确率，表明其具备强大的泛化能力，尽管训练目标为回归任务。
• 消融实验证实，两级注意力与两阶段多任务学习组件均不可或缺，二者均对最终性能提升有显著贡献。
• 该框架在48×48输入尺寸下实现了最先进结果，证明其在较低分辨率下仍具高效性，优于以往使用更大输入尺寸的工作。