[论文解读] Revisiting Few-Shot Learning for Facial Expression Recognition

Anca-Nicoleta Ciubotaru, Arnout Devos+3 more|arXiv (Cornell University)|Dec 5, 2019

Machine Learning and ELM参考文献 38被引用 7

一句话总结

本文在真实跨域设置下重新审视了少样本学习在面部表情识别（FER）中的应用，其中基础类和新类来自具有显著域差异的不同数据集。结果表明，现有少样本模型在处理类内差异大和域差距显著时表现不佳，但通过提升模型容量和减小域差距可显著改善性能，在从 RAF-basic 微调的 CK+ 数据集上，5 类 5 样本设置下准确率最高达到 84.90%。

ABSTRACT

Most of the existing deep neural nets on automatic facial expression recognition focus on a set of predefined emotion classes, where the amount of training data has the biggest impact on performance. However, in the standard setting over-parameterised neural networks are not amenable for learning from few samples as they can quickly over-fit. In addition, these approaches do not have such a strong generalisation ability to identify a new category, where the data of each category is too limited and significant variations exist in the expression within the same semantic category. We embrace these challenges and formulate the problem as a low-shot learning, where once the base classifier is deployed, it must rapidly adapt to recognise novel classes using a few samples. In this paper, we revisit and compare existing few-shot learning methods for the low-shot facial expression recognition in terms of their generalisation ability via episode-training. In particular, we extend our analysis on the cross-domain generalisation, where training and test tasks are not drawn from the same distribution. We demonstrate the efficacy of low-shot learning methods through extensive experiments.

研究动机与目标

• 为解决真实世界场景中大规模标注数据稀缺且类别分布高度不平衡的面部表情识别挑战。
• 在真实跨域设置下评估少样本学习方法在 FER 中的表现，其中新类别来自与基础类别分布不同的数据集。
• 研究类内差异和域差距对少样本学习算法在面部表情识别中泛化能力的影响。
• 识别少样本学习模型在极小样本下有效泛化到新面部表情类别所需满足的条件。

提出的方法

• 作者采用少样本学习范式，模型在 miniImageNet 的基础类别上进行训练，并在 RAF-basic 和 CK+ 数据集的新类别上进行测试。
• 评估六种元学习方法：Baseline、Baseline++、ProtoNet、MatchingNet、RelationNet 和 SubspaceNet，均以 ResNet18 作为主干网络。
• 采用基于任务的训练方式以模拟少样本推理，每个任务包含一个支持集（每类少量样本）和一个查询集（未见过的样本）。
• 在两种跨域场景下评估性能：miniImageNet → RAF-basic 和 miniImageNet → CK+，以及一个窄域差距场景：RAF-basic → CK+。
• 为减少类内差异，作者在 ProtoNet 和 SubspaceNet 中应用特征平均，并使用度量学习比较支持集和查询集的嵌入表示。
• 实验在 1 样本和 5 样本设置下进行，涵盖 5 类分类任务，结果在多个随机种子下取平均。

实验结果

研究问题

• RQ1 当新面部表情类别来自与基础类别不同分布的数据集时，现有少样本学习方法的泛化能力如何？
• RQ2 新类别数据集中的类内差异对少样本学习模型在面部表情识别中性能的影响是什么？
• RQ3 少样本学习模型能否在真实世界面部表情识别场景中典型的大域差距下有效泛化？
• RQ4 增加模型容量或减小域差距是否能提升面部表情识别中的少样本泛化能力？

主要发现

• 在 miniImageNet → RAF-basic 跨域设置下，所有少样本方法表现均不佳，SubspaceNet 在 1 样本设置下准确率为 23.93%，5 样本设置下为 30.95%，表明在大域差距下泛化能力差。
• 在 miniImageNet → CK+ 设置下，SubspaceNet 在 1 样本设置下准确率为 40.77%，5 样本设置下为 54.61%，优于其他方法，尤其在低样本条件下表现更优。
• 在 RAF-basic → CK+ 窄域差距场景中，Baseline++ 在 5 样本设置下达到最高准确率 85.30%，优于所有元学习方法，表明数据增强和特征正则化在小域差距下比元学习更有效。
• ProtoNet 在 miniImageNet → CK+ 的 5 类 1 样本设置下表现最佳（准确率 39.12%），可能得益于类原型平均有效降低了类内差异。
• MatchingNet 在所有设置下均表现欠佳，准确率均低于 45%，原因在于其依赖平均余弦距离，未建模类内样本间的关系。
• miniImageNet → CK+ 的混淆矩阵显示，模型在区分相似表情（如 'fear' 和 'surprise'）时存在困难，尤其在大域差距下更为明显。