[论文解读] Self-adversarial Multi-scale Contrastive Learning for Semantic Segmentation of Thermal Facial Images

Jitesh Joshi, Nadia Bianchi‐Berthouze+1 more|arXiv (Cornell University)|Sep 21, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出一种自对抗多尺度对比学习（SAM-CL）框架，以提升热成像面部图像的语义分割性能，结合了新颖的SAM-CL损失与领域特定的热成像数据增强（TiAug）模块。该方法增强了对遮挡和环境变化的鲁棒性，在有限的热成像数据集上，对多种网络架构均实现了稳定的性能提升，包括真实世界非受限场景。

ABSTRACT

Segmentation of thermal facial images is a challenging task. This is because facial features often lack salience due to high-dynamic thermal range scenes and occlusion issues. Limited availability of datasets from unconstrained settings further limits the use of the state-of-the-art segmentation networks, loss functions and learning strategies which have been built and validated for RGB images. To address the challenge, we propose Self-Adversarial Multi-scale Contrastive Learning (SAM-CL) framework as a new training strategy for thermal image segmentation. SAM-CL framework consists of a SAM-CL loss function and a thermal image augmentation (TiAug) module as a domain-specific augmentation technique. We use the Thermal-Face-Database to demonstrate effectiveness of our approach. Experiments conducted on the existing segmentation networks (UNET, Attention-UNET, DeepLabV3 and HRNetv2) evidence the consistent performance gains from the SAM-CL framework. Furthermore, we present a qualitative analysis with UBComfort and DeepBreath datasets to discuss how our proposed methods perform in handling unconstrained situations.

研究动机与目标

• 解决热成像面部图像语义分割的挑战，此类图像普遍存在特征显著性低、遮挡多以及训练数据有限的问题。
• 克服现有基于RGB的数据增强和损失函数的局限性，这些方法因物理特性差异而不适用于热成像。
• 开发一种训练策略，以提升在数据有限的非受限真实世界热成像场景中的泛化能力和鲁棒性。
• 设计一个领域特定的数据增强模块（TiAug），以模拟真实的热成像变化、遮挡和相机噪声。
• 提出一种自对抗对比损失（SAM-CL），通过利用类别互换掩码生成的合成负样本，增强特征的判别能力。

提出的方法

• 提出一种自对抗多尺度对比学习（SAM-CL）损失，通过比较预测结果与类别互换标签掩码生成的logits，促进特征判别。
• 设计一种热成像数据增强（TiAug）模块，通过调节环境温度、建模遮挡（如眼镜、头发）以及引入相机噪声，模拟真实世界的热成像条件。
• 应用TiAug将受控实验室环境下的热成像图像转换为更真实、多样的变体，实现在无需真实世界数据采集情况下的数据增强。
• 将分割网络（UNet、Attention-UNet、DeepLabV3、HRNetv2）与SAM-CL损失和TiAug联合训练，以提升模型的鲁棒性与泛化能力。
• 利用多尺度特征表示，在不同感受野层级上增强对比学习目标。
• 利用预测logits与从类别互换掩码生成的合成负样本之间的重叠，增强错误预测的损失，从而提升对抗鲁棒性。

实验结果

研究问题

• RQ1 自对抗对比学习框架是否能在训练数据有限的情况下提升热成像面部图像的语义分割性能？
• RQ2 所提出的TiAug模块在无需真实世界数据采集的情况下，是否能有效模拟真实世界的热成像变化与遮挡？
• RQ3 结合TiAug的SAM-CL损失是否能提升在多种分割网络及非受限真实世界场景下的泛化能力？
• RQ4 该框架在处理热成像中如前额头发和眼镜遮挡等复杂遮挡情况时，相较于最先进方法的性能提升程度如何？
• RQ5 通过调整增强与损失模块，SAM-CL框架是否可推广至其他数据有限的成像模态？

主要发现

• SAM-CL框架在Thermal-Face-Database数据集上，对多种网络架构（UNet、Attention-UNet、DeepLabV3、HRNetv2）均实现了稳定的分割性能提升。
• TiAug模块能有效模拟真实世界的热成像变化，包括环境温度变化、遮挡以及相机噪声，显著增强了模型的泛化能力。
• 定性分析表明，采用SAM-CL训练的模型在处理前额头发遮挡、眼镜遮挡以及低分辨率热成像方面，优于当前最先进模型。
• 在使用移动热成像相机采集的DeepBreath数据集上，SAM-CL训练的模型仍保持高性能，证明其在不同相机规格下的鲁棒性。
• 结合TiAug的SAM-CL损失可在非受限场景中实现可靠的分割，包括极端温度变化和复杂遮挡的图像。
• 该框架在无需额外真实世界数据的情况下实现了稳定的性能增益，适用于数据稀缺的热成像视觉应用。