[论文解读] POSTER++: A simpler and stronger facial expression recognition network

Jiawei Mao, Rui Xu+4 more|arXiv (Cornell University)|Jan 28, 2023

Emotion and Mood Recognition被引用 14

一句话总结

POSTER++ 在移除 image-to-landmark 分支、应用基于窗口的交叉注意力、以及使用小型 ViT 进行直接多尺度特征提取的情况下，实现了 SOTA FER 性能，同时计算量更低（8.4G FLOPs，43.7M 参数）。

ABSTRACT

Facial expression recognition (FER) plays an important role in a variety of real-world applications such as human-computer interaction. POSTER achieves the state-of-the-art (SOTA) performance in FER by effectively combining facial landmark and image features through two-stream pyramid cross-fusion design. However, the architecture of POSTER is undoubtedly complex. It causes expensive computational costs. In order to relieve the computational pressure of POSTER, in this paper, we propose POSTER++. It improves POSTER in three directions: cross-fusion, two-stream, and multi-scale feature extraction. In cross-fusion, we use window-based cross-attention mechanism replacing vanilla cross-attention mechanism. We remove the image-to-landmark branch in the two-stream design. For multi-scale feature extraction, POSTER++ combines images with landmark's multi-scale features to replace POSTER's pyramid design. Extensive experiments on several standard datasets show that our POSTER++ achieves the SOTA FER performance with the minimum computational cost. For example, POSTER++ reached 92.21% on RAF-DB, 67.49% on AffectNet (7 cls) and 63.77% on AffectNet (8 cls), respectively, using only 8.4G floating point operations (FLOPs) and 43.7M parameters (Param). This demonstrates the effectiveness of our improvements.

研究动机与目标

• 在保留或提升 FER 精度的同时，解决 POSTER 的计算效率问题。
• 消除冗余分支以降低 FLOPs 和参数数量。
• 引入高效的跨融合与多尺度特征整合。
• 在标准 FER 基准上展示最先进的性能，同时实现资源高效。

提出的方法

• 保留 POSTER 的人脸关键点检测器与图像主干。
• 移除双流设计中的 image-to-landmark 分支。
• 用基于窗口的跨注意力（W-MCSA）替代原生跨注意力以实现线性复杂度。
• 消除金字塔式多尺度特征提取；使用两层 Vision Transformer（ViT）直接从主干与关键点检测器融合多尺度特征。
• 引入一个小型 ViT 来整合多尺度特征。
• 使用基于窗口的跨融合以增强局部建模并降低计算量。

实验结果

研究问题

• RQ1 相较于 POSTER，POSTER++ 是否能够在显著降低参数和 FLOPs 的同时维持或提升 FER 精度？
• RQ2 每项架构改动（两流移除、基于窗口的跨融合、直接多尺度提取）对整体性能的贡献是多少？
• RQ3 基于窗口的跨注意力是否足以替代两流 FER 架构中的原生跨注意力？
• RQ4 由轻量 ViT 整合的多尺度特征是否能提供与 POSTER 的金字塔设计相当或更好的结果？

主要发现

• POSTER++ 在 RAF-DB（92.21%）、AffectNet（7 类：67.49%）、AffectNet（8 类：63.77%）上实现了 SOTA FER 性能。
• 在 CAER-S 上，POSTER++ 达到 93.00%，超过 POSTER（92.73%）。
• POSTER++ 使用 8.4G FLOPs 和 43.7M 参数，相比 POSTER（8.4G vs 15.7G；43.7M vs 71.8M）在 FLOPs 与参数上均有降低。
• 消融研究表明 landmark-to-image 跨融合至关重要，而移除 image-to-landmark 分支在成本下降的同时对准确率的损失有限。
• 基于窗口的跨注意力（W-MCSA）提供线性计算复杂度，并在 FER 准确性上优于原生跨注意力。
• 使用两层 ViT 进行直接多尺度特征提取就足以有效整合多尺度信息。