[论文解读] Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition

Guang Liang, Shangfei Wang+1 more|arXiv (Cornell University)|Jul 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 25被引用 4

一句话总结

本文提出了一种新颖的无监督对抗域自适应方法，用于个性化面部表情识别，联合解决了姿态和个体差异问题。通过整合对抗域自适应、交叉对抗特征解耦和重建学习，该模型在不依赖合成图像的情况下，学习到对姿态和身份具有鲁棒性的表情特征，在包括 SFEW 和 AffectNet 在内的多个基准测试中实现了最先进性能。

ABSTRACT

Current facial expression recognition methods fail to simultaneously cope with pose and subject variations. In this paper, we propose a novel unsupervised adversarial domain adaptation method which can alleviate both variations at the same time. Specially, our method consists of three learning strategies: adversarial domain adaptation learning, cross adversarial feature learning, and reconstruction learning. The first aims to learn pose- and expression-related feature representations in the source domain and adapt both feature distributions to that of the target domain by imposing adversarial learning. By using personalized adversarial domain adaptation, this learning strategy can alleviate subject variations and exploit information from the source domain to help learning in the target domain. The second serves to perform feature disentanglement between pose- and expression-related feature representations by impulsing pose-related feature representations expression-undistinguished and the expression-related feature representations pose-undistinguished. The last can further boost feature learning by applying face image reconstructions so that the learned expression-related feature representations are more pose- and identity-robust. Experimental results on four benchmark datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决面部表情识别中姿态变化与个体（身份）变化的双重挑战。
• 开发一种无监督域自适应框架，将源域（带标签数据）的知识迁移至目标域（无标签、新个体），而无需目标样本的标签。
• 通过解耦姿态相关与表情相关特征，提升对姿态和身份变化的鲁棒性。
• 通过重建学习增强特征表示质量，确保表情特征对姿态和身份保持不变。
• 在多姿态、真实场景下的面部表情识别设置中超越现有方法。

提出的方法

• 采用对抗域自适应方法，为姿态特征和表情特征分别设置独立的域判别器，以对齐源域与目标域的分布。
• 引入交叉对抗学习策略，使姿态判别器无法区分表情特征，同时使表情分类器无法区分姿态特征，从而实现特征解耦。
• 通过结合跨域姿态与表情特征来重建原始人脸图像，实现重建学习，强化所学表征的鲁棒性。
• 联合训练三种学习策略：对抗域自适应、交叉对抗特征学习与重建学习。
• 使用独立的编码器分别处理源域与目标域，其中源编码器在带标签数据上进行监督训练，目标编码器则通过对抗目标进行训练。
• 采用生成器网络从解耦特征中重建人脸图像，以强化所学表征的质量与解耦性。

实验结果

研究问题

• RQ1 无监督域自适应框架能否有效缓解面部表情识别中由姿态和个体差异引起的域偏移？
• RQ2 如何以一种增强对姿态和身份变化鲁棒性的方式，实现姿态相关与表情相关特征的解耦？
• RQ3 基于重建的学习能否在不依赖图像生成的前提下，提升表情特征对姿态和身份变化的鲁棒性？
• RQ4 所提方法是否在多姿态、真实场景下的面部表情识别基准测试中优于现有最先进方法？
• RQ5 在目标域标签数据有限的情况下，该方法表现如何，尤其与依赖合成数据或数据增强的方法相比？

主要发现

• 在 SFEW 数据集上，所提方法平均准确率达到 31.3%，优于次佳方法（UPADA R+adv+cross）的 30.9%。
• 在 AffectNet 上训练并在 SFEW 上测试时，方法达到 57.6% 的平均准确率，超过先前最先进方法（UPADA R+adv+cross）的 56.3%。
• 在 AffectNet 测试集上，方法达到 59.0% 的平均准确率，超过次佳方法（UPADA R+adv+cross）的 58.3%。
• 该方法在稀有或类别不平衡的表情类别（如惊讶 SU）上表现更优，例如在 SFEW（AffectNet 训练）上达到 29.8%，优于 IPFR 的 31.4%，且类别间平衡性更佳。
• 消融实验证实，三种组件——对抗自适应、交叉对抗学习与重建——均对性能有显著贡献，其中重建带来最大性能增益。
• 与 GAN 基方法（如 GARN 和 IA-gen）相比，后者因生成图像不真实而引入噪声，本方法通过直接从真实数据学习鲁棒特征，表现更优。