[论文解读] Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition in the Wild

Ping Liu, Yuewei Lin+4 more|arXiv (Cornell University)|Aug 26, 2020

Adversarial Robustness in Machine Learning参考文献 74被引用 4

一句话总结

本文提出点对抗自采矿（PASM），一种通过对抗性点攻击识别并遮蔽有信息量的面部区域的数据增强方法，以提升野外环境下的面部表情识别性能。通过生成突出关键面部特征的对抗性样本，并利用知识蒸馏微调网络，PASM 在不改变网络结构的前提下提升了模型的泛化能力和准确率。

ABSTRACT

In this paper, the Point Adversarial Self Mining (PASM) approach, a simple yet effective way to progressively mine knowledge from training samples, is proposed to produce training data for CNNs to improve the performance and network generality in Facial Expression Recognition (FER) task. In order to achieve a high prediction accuracy under real-world scenarios, most of the existing works choose to manipulate the network architectures and design sophisticated loss terms. Although demonstrated to be effective in real scenarios, those aforementioned methods require extra efforts in network design. Inspired by random erasing and adversarial erasing, we propose PASM for data augmentation, simulating the data distribution in the wild. Specifically, given a sample and a pre-trained network, our proposed approach locates the informative region in the sample generated by point adversarial attack policy. The informative region is highly structured and sparse. Comparing to the regions produced by random erasing which selects the region in a purely random way and adversarial erasing which operates by attention maps, the located informative regions obtained by PASM are more adaptive and better aligned with the previous findings: not all but only a few facial regions contribute to the accurate prediction. Then, the located informative regions are masked out from the original samples to generate augmented images, which would force the network to explore additional information from other less informative regions. The augmented images are used to finetune the network to enhance its generality. In the refinement process, we take advantage of knowledge distillation, utilizing the pre-trained network to provide guidance and retain knowledge from old samples to train a new network with the same structural configuration.

研究动机与目标

• 在真实、非约束条件下提升面部表情识别（FER）的性能。
• 减少在 FER 中对复杂网络架构和损失函数的依赖。
• 开发一种自适应识别并遮蔽有信息量面部区域的数据增强策略。
• 通过对抗性遮蔽迫使网络学习不那么显著的面部区域，从而提升模型泛化能力。
• 在微调过程中利用知识蒸馏，保留预训练模型的知识。

提出的方法

• PASM 使用预训练网络和点对抗攻击策略，定位面部图像中高度结构化、稀疏的有信息量区域。
• 该方法生成聚焦于特定面部点的对抗性扰动，以突出对表情分类至关重要的区域。
• 通过对抗攻击识别出的有信息量区域从原始样本中被遮蔽，从而生成增强的训练图像。
• 增强后的图像用于微调网络，促使网络依赖于不那么显著的面部特征。
• 在优化过程中应用知识蒸馏，利用预训练网络指导新网络，以保留原始样本中的知识。
• 该方法简单有效，无需网络结构修改或复杂损失函数设计。

实验结果

研究问题

• RQ1 能否利用对抗性点攻击识别出对表情识别最具信息量的面部区域？
• RQ2 遮蔽这些对抗性识别出的区域是否能提升在非约束环境下的模型泛化能力？
• RQ3 知识蒸馏能否在使用增强数据进行微调时有效保留性能？
• RQ4 PASM 在真实世界条件下是否优于随机或基于注意力的数据增强方法？
• RQ5 一种简单数据增强方法能否降低 FER 中对复杂网络设计和损失函数的依赖？

主要发现

• PASM 通过对抗性点攻击聚焦关键面部区域，提升了面部表情识别的准确率。
• 该方法通过迫使网络利用不那么显著的面部区域，增强了模型泛化能力，减少了对特定面部线索的过度依赖。
• 在微调过程中应用知识蒸馏，有效保留了性能，并在多样化数据分布下保持了鲁棒性。
• PASM 在无需网络结构修改或复杂损失函数的情况下实现了具有竞争力的性能。
• 该方法通过模拟非约束环境中常见的数据分布，在真实世界场景中表现出有效性。
• 与随机或基于注意力的方法相比，对抗性点遮蔽带来了更具自适应性和语义意义的数据增强。