[论文解读] Towards Fair Affective Robotics: Continual Learning for Mitigating Bias in Facial Expression and Action Unit Recognition

Özgür Kara, Nikhil Churamani+1 more|arXiv (Cornell University)|Mar 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 6

一句话总结

本文提出将持续学习（CL）作为一种新颖策略，以减轻面部表情与动作单元识别中的群体偏差。实验证明，在RAF-DB与BP4D基准上，基于CL的方法在性别与种族划分下的公平性表现优于传统偏差缓解技术，其中NR与EWC变体在保持高准确率的同时取得了最高的公平性得分。

ABSTRACT

As affective robots become integral in human life, these agents must be able to fairly evaluate human affective expressions without discriminating against specific demographic groups. Identifying bias in Machine Learning (ML) systems as a critical problem, different approaches have been proposed to mitigate such biases in the models both at data and algorithmic levels. In this work, we propose Continual Learning (CL) as an effective strategy to enhance fairness in Facial Expression Recognition (FER) systems, guarding against biases arising from imbalances in data distributions. We compare different state-of-the-art bias mitigation approaches with CL-based strategies for fairness on expression recognition and Action Unit (AU) detection tasks using popular benchmarks for each; RAF-DB and BP4D. Our experiments show that CL-based methods, on average, outperform popular bias mitigation techniques, strengthening the need for further investigation into CL for the development of fairer FER algorithms.

研究动机与目标

• 解决训练数据中群体不平衡导致的面部表情识别（FER）与动作单元（AU）检测中的公平性问题。
• 探究持续学习（CL）是否可作为情感机器人学中有效的偏差缓解策略。
• 在标准基准上，将基于CL的方法与最先进非CL偏差缓解技术进行比较。
• 评估在不同群体划分（性别、种族）下准确率与公平性之间的权衡。
• 探索在长期人机交互（HRI）中部署基于CL的FER系统的技术可行性。

提出的方法

• 作者实现并比较了多种CL框架：弹性权重巩固（EWC）、突触智能（SI）、记忆感知突触（MAS）以及朴素回放（NR）。
• 在RAF-DB与BP4D数据集上，基于性别与种族的领域增量学习（Domain-IL）设置，将这些CL方法应用于FER与AU检测任务。
• CL模型按不同群体顺序进行训练，通过正则化或回放机制防止灾难性遗忘。
• 作为对比，采用基线模型与非CL偏差缓解方法（如DDC、DIC、DA、SS），包括损失加权与领域解耦策略。
• 公平性通过各群体划分（如性别、种族）的公平性分数进行评估，并在不同领域上取平均值。
• 实验涵盖数据增强与非增强两种设置，以评估模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 持续学习能否在不同群体中有效缓解面部表情识别与动作单元检测的偏差？
• RQ2 基于CL的方法在公平性表现上是否优于最先进非CL偏差缓解技术？
• RQ3 采用不同CL策略时，准确率与公平性之间的权衡关系如何？
• RQ4 基于正则化的CL方法与基于回放的方法（如NR）在公平性与准确率上的表现有何差异？
• RQ5 基于CL的模型是否能在真实世界HRI的长期、增量学习场景中保持性能？

主要发现

• NR（朴素回放）方法在RAF-DB与BP4D上均取得了最高的公平性得分，尤其在种族划分中表现突出，但其内存消耗较高。
• EWC与EWC-Online表现出较强的公平性，其中EWC-Online在性别划分（0.994）与种族划分（0.957）中分别取得第二高公平性得分。
• DA（解耦方法）在大多数类别中均取得一致高的公平性得分，尤其在种族划分中表现优异（0.962），位居第二。
• 非CL偏差缓解方法如DDC与DIC虽公平性较高，但准确率低于CL方法，表明公平性与性能之间存在权衡。
• 基于CL的方法，尤其是EWC与NR，在性别与种族划分中均优于非CL方法，证明其在处理数据分布不平衡问题上的优越性。
• 结果表明，基于CL的方法在群体间学习平衡方面，优于传统数据级或算法级偏差缓解技术。