[论文解读] Responsible AI: Gender bias assessment in emotion recognition

Artem Domnich, Gholamreza Anbarjafari|arXiv (Cornell University)|Mar 21, 2021

Face recognition and analysis参考文献 110被引用 10

一句话总结

本研究使用六种神经网络在 SASE-FE 数据集上训练，评估了深度学习模型在面部情绪识别中的性别偏差。研究发现，ResNet50 等模型在识别如 'Upset' 和 'Sad' 等情绪时表现出显著的性别偏差，而 SENetLSTM 等架构在男性和女性测试集上表现出更高的公平性，凸显了不同性别间识别准确率和真正/假正类率的差异。

ABSTRACT

Rapid development of artificial intelligence (AI) systems amplify many concerns in society. These AI algorithms inherit different biases from humans due to mysterious operational flow and because of that it is becoming adverse in usage. As a result, researchers have started to address the issue by investigating deeper in the direction towards Responsible and Explainable AI. Among variety of applications of AI, facial expression recognition might not be the most important one, yet is considered as a valuable part of human-AI interaction. Evolution of facial expression recognition from the feature based methods to deep learning drastically improve quality of such algorithms. This research work aims to study a gender bias in deep learning methods for facial expression recognition by investigating six distinct neural networks, training them, and further analysed on the presence of bias, according to the three definition of fairness. The main outcomes show which models are gender biased, which are not and how gender of subject affects its emotion recognition. More biased neural networks show bigger accuracy gap in emotion recognition between male and female test sets. Furthermore, this trend keeps for true positive and false positive rates. In addition, due to the nature of the research, we can observe which types of emotions are better classified for men and which for women. Since the topic of biases in facial expression recognition is not well studied, a spectrum of continuation of this research is truly extensive, and may comprise detail analysis of state-of-the-art methods, as well as targeting other biases.

研究动机与目标

• 在负责任人工智能的框架下，研究基于深度学习的面部情绪识别（FER）系统中的性别偏差。
• 评估训练数据构成（仅男性、仅女性、混合）对模型在不同性别间公平性和性能的影响。
• 识别在多种公平性定义下，哪些神经网络架构在情绪分类中最具和最不具偏差。
• 分析性别特异性的情绪识别准确率差异，包括真正率（TPR）和假正率（FPR）。
• 通过识别关键偏差和模型行为，为未来在 FER 中实现公平性的研究提供基础。

提出的方法

• 在 SASE-FE 数据集上训练六种不同的深度神经网络架构（包括 3D-CNN、ResNet、VGGFACE、SENetLSTM），用于面部情绪识别。
• 使用三种数据划分方式训练模型：完整测试集、仅男性受试者、仅女性受试者，以评估性别特异性性能。
• 应用三种公平性定义——平等机会（Equal Opportunity）、平等奇偶性（Equal Odds）和人口均等性（Demographic Parity）——以评估男性和女性测试集间的偏差。
• 使用准确率、真正率（TPR）和假正率（FPR）作为性能指标，比较男性和女性测试集之间的结果。
• 通过从头开始训练和使用预训练权重训练模型，开展消融研究，以评估其对偏差和公平性的影响。
• 分析各情绪的性能表现，以识别哪些情绪对男性和女性的识别准确率更高。

实验结果

研究问题

• RQ1 根据公平性定义，哪些用于面部情绪识别的深度学习架构表现出最高的性别偏差？
• RQ2 训练数据构成（仅男性 vs. 仅女性 vs. 混合）在多大程度上影响模型在不同性别间的公平性和性能？
• RQ3 是否存在某些情绪系统性地被更频繁地错误分类为某一性别？
• RQ4 公平性度量（平等机会、平等奇偶性、人口均等性）与男性和女性测试集之间观察到的准确率差距之间有多强的相关性？
• RQ5 在不同模型中，男性和女性受试者的真正率和假正率有何差异？

主要发现

• 根据平等机会和平等奇偶性定义，ResNet50 表现出最高的性别偏差，男性和女性测试集之间存在显著的准确率差距。
• 在人口均等性定义下，ResNet3D 和 VGGFACE 排名第二，表明其在不同性别间预测公平性存在显著差异。
• SENetLSTM 在所有三种公平性定义下均表现最公平，男性和女性测试集之间的性能差距最小。
• Overall，'Upset' 是被错误分类最多的表情，准确率最低，尤其对男性受试者而言；而 'Happy' 始终是最准确识别的表情。
• 对于仅在女性数据上训练的模型，其在男性测试集上的推理准确率高于在女性测试集上的准确率，表明存在出乎意料的数据泛化效应。
• 在男性数据上训练的模型在女性测试集上的性能方差更高，表明其在泛化到相反性别时表现出不稳定性，鲁棒性降低。