[论文解读] Predicting Social Perception from Faces: A Deep Learning Approach

Uwe Messer, Stefan Faußer|arXiv (Cornell University)|Jun 29, 2019

Evolutionary Psychology and Human Behavior参考文献 31被引用 4

一句话总结

本文提出一种使用深度卷积神经网络和Grad-CAM的深度学习方法，从人脸图像预测人类对温暖感和能力感的感知。该模型在预测温暖感方面达到90%的准确率，在预测能力感方面达到80%的准确率，识别出驱动这些判断的关键面部区域。

ABSTRACT

Warmth and competence represent the fundamental traits in social judgment that determine emotional reactions and behavioral intentions towards social targets. This research investigates whether an algorithm can learn visual representations of social categorization and accurately predict human perceivers' impressions of warmth and competence in face images. In addition, this research unravels which areas of a face are important for the classification of warmth and competence. We use Deep Convolutional Neural Networks to extract features from face images and the Gradient-weighted Class Activation Mapping (Grad CAM) method to understand the importance of face regions for the classification. Given a single face image the trained algorithm could correctly predict warmth impressions with an accuracy of about 90% and competence impressions with an accuracy of about 80%. The findings have implications for the automated processing of faces and the design of artificial characters.

研究动机与目标

• 探究深度学习模型是否能够从人脸图像中准确预测人类对温暖感的社会感知。
• 利用可解释人工智能技术，识别对温暖感和能力感感知贡献最大的面部区域。
• 开发一种具备可解释性的自动化社会感知预测系统，适用于心理学和人工智能应用。
• 探索利用人脸视觉特征建模社会判断基本维度的可行性。
• 通过理解人脸感知中的视觉线索，为设计具有社会智能的人工智能代理做出贡献。

提出的方法

• 在人脸图像上训练深度卷积神经网络（DCNNs），以学习社会感知的表征。
• 采用梯度加权类激活映射（Grad-CAM）技术，可视化并解释哪些面部区域对预测最具影响力。
• 基于人工标注的社会感知评分，分别训练模型以预测温暖感和能力感。
• 在社会感知数据集上微调前，使用预训练的CNN架构从人脸图像中提取深层特征。
• 训练过程中应用L2正则化和dropout，以防止过拟合并提高泛化能力。
• 使用验证集监控性能，并选择最佳表现的模型进行评估。

实验结果

研究问题

• RQ1 深度学习模型能否从人脸图像中准确预测人类对温暖感的感知？
• RQ2 深度学习模型能否从人脸图像中准确预测人类对能力感的感知？
• RQ3 哪些面部区域对感知到的温暖感和能力感最具预测性？
• RQ4 模型学习到的视觉特征与人类识别的社会感知线索在多大程度上一致？
• RQ5 可解释人工智能方法（如Grad-CAM）在多大程度上能够揭示模型在社会感知任务中的决策过程？

主要发现

• 该模型在从单张人脸图像预测温暖感方面达到了约90%的预测准确率。
• 该模型在从单张人脸图像预测能力感方面达到了约80%的预测准确率。
• Grad-CAM分析显示，眼睛和嘴巴区域在预测温暖感方面最为显著，而眼睛和眉毛区域则是预测能力感的关键。
• 眼形、视线方向和嘴角弯曲等面部特征被一致识别为社会感知判断中的关键因素。
• 该模型在多样化的人脸图像上表现出稳健的泛化能力，表明深度特征捕捉到了有意义的社会线索。
• 结果表明，仅通过视觉输入，深度学习能够有效建模社会感知的基本维度。