[论文解读] Prompting Visual-Language Models for Dynamic Facial Expression Recognition

Zengqun Zhao, Ioannis Patras|arXiv (Cornell University)|Aug 25, 2023

Advanced Computing and Algorithms被引用 6

一句话总结

该论文提出 DFER-CLIP，一种视觉-语言模型，通过在 Transformer 编码器中引入时序建模，并结合大语言模型生成的细粒度文本描述，增强了真实场景下动态面部表情识别的能力。该方法在 DFEW、FERV39k 和 MAFW 基准测试中均达到最先进性能，在 MAFW 上取得 51.65% 的加权准确率，在 DFEW 上相比先前方法提升 2.05% 的 UAR。

ABSTRACT

This paper presents a novel visual-language model called DFER-CLIP, which is based on the CLIP model and designed for in-the-wild Dynamic Facial Expression Recognition (DFER). Specifically, the proposed DFER-CLIP consists of a visual part and a textual part. For the visual part, based on the CLIP image encoder, a temporal model consisting of several Transformer encoders is introduced for extracting temporal facial expression features, and the final feature embedding is obtained as a learnable "class" token. For the textual part, we use as inputs textual descriptions of the facial behaviour that is related to the classes (facial expressions) that we are interested in recognising -- those descriptions are generated using large language models, like ChatGPT. This, in contrast to works that use only the class names and more accurately captures the relationship between them. Alongside the textual description, we introduce a learnable token which helps the model learn relevant context information for each expression during training. Extensive experiments demonstrate the effectiveness of the proposed method and show that our DFER-CLIP also achieves state-of-the-art results compared with the current supervised DFER methods on the DFEW, FERV39k, and MAFW benchmarks. Code is publicly available at https://github.com/zengqunzhao/DFER-CLIP.

研究动机与目标

• 解决现有视觉-语言模型在真实场景下识别细微、动态面部表情时的局限性。
• 通过引入与情绪类别相关的面部行为细粒度文本描述（而非仅依赖类别名称），改进动态面部表情的表征学习。
• 通过在 CLIP 图像编码器之上堆叠一连串 Transformer 编码器，增强面部表情的时序建模能力。
• 探索可学习上下文标记与大语言模型生成描述相结合的有效性，以提升表情判别能力。
• 在无需大量人工提示工程的情况下，实现在真实场景 DFER 基准测试中的最先进性能。

提出的方法

• 视觉编码器在 CLIP 图像编码器基础上扩展为一连串 Transformer 编码器，用于建模视频帧之间的时序动态，最终使用类标记作为视频级嵌入。
• 文本编码器使用大语言模型生成的、与每个情绪类别相关的面部行为描述（例如，对“快乐”使用“嘴角上扬、眼角挤出皱纹”），替代简单的类别名称。
• 在每个文本描述前引入可学习的、与类别相关的上下文标记，以帮助模型在训练过程中关注相关语义上下文。
• 采用对比学习进行端到端训练，使视觉嵌入与对应文本描述对齐。
• 提示设计将大语言模型生成的描述置于文本输入末尾，可学习上下文标记置于其前，从而实现更优的特征对齐。
• 该方法支持提示工程而无需分类头，通过文本提示实现零样本和少样本适应。

Figure 1: Illustration of the (a) previous approach for DFER, which relies on a classifier to predict the facial expression label. (b) Standard vision-language model CLIP. (c) Based on the CLIP, we propose a DFER-CLIP, which further models temporal facial features and incorporates fine-grained descr

实验结果

研究问题

• RQ1 与简单类别名称相比，大语言模型生成的行为导向文本描述是否能提升动态面部表情识别中的视觉-语言对齐？
• RQ2 基于 Transformer 的时序建模头如何增强视频序列中面部动态的表征能力？
• RQ3 使用可学习上下文标记是否能提升模型在多样化面部表情类别上的性能与泛化能力，特别是在类别不平衡的数据集上？
• RQ4 在多个真实场景基准测试中，所提出的 DFER-CLIP 模型在 UAR 和 WAR 指标上与最先进方法相比表现如何？
• RQ5 为最大化性能，最优的提示配置（如描述位置、共享 vs. 类别特定上下文）是什么？

主要发现

• 在 MAFW 基准测试中，DFER-CLIP 达到 51.65% 的加权准确率，相比之前最先进方法在 WAR 上提升 4.37%。
• 在 DFEW 上，模型实现 59.61% 的 UAR，相比之前最佳方法提升 2.05%。
• 在 FERV39k 上，模型达到 71.25% 的 UAR 和 51.65% 的 WAR，分别较之前最先进方法提升 0.04% 和 0.41%。
• 消融实验表明，将大语言模型生成的描述置于提示末尾并使用类别特定的可学习上下文标记，可获得最佳性能。
• 该方法在 MAFW 等类别不平衡数据集上，优于手动设计的提示（如“一张 [类别] 的照片”和“一种 [类别] 的表情”）。
• 使用大语言模型生成的描述与可学习上下文标记，相比基线提示始终能提升性能，证明了细粒度文本监督的有效性。

Figure 2: The structure of the proposed DFER-CLIP model. cos() denotes cosine similarity. M denotes the learnable context number. C denotes expression classes.