[论文解读] Teaching Where to Look: Attention Similarity Knowledge Distillation for Low Resolution Face Recognition

Sungho Shin, Joosoon Lee+3 more|arXiv (Cornell University)|Sep 29, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出注意力相似性知识蒸馏（A-SKD），一种通过余弦相似度将高分辨率（HR）教师网络的注意力图迁移至低分辨率（LR）学生网络的方法，以提升低分辨率人脸识别性能。该方法在多个低分辨率基准上显著提升性能，超越了当前最先进方法，通过引导学生网络关注从高分辨率数据中学到的判别性面部区域，实现性能突破。

ABSTRACT

Deep learning has achieved outstanding performance for face recognition benchmarks, but performance reduces significantly for low resolution (LR) images. We propose an attention similarity knowledge distillation approach, which transfers attention maps obtained from a high resolution (HR) network as a teacher into an LR network as a student to boost LR recognition performance. Inspired by humans being able to approximate an object's region from an LR image based on prior knowledge obtained from HR images, we designed the knowledge distillation loss using the cosine similarity to make the student network's attention resemble the teacher network's attention. Experiments on various LR face related benchmarks confirmed the proposed method generally improved recognition performances on LR settings, outperforming state-of-the-art results by simply transferring well-constructed attention maps. The code and pretrained models are publicly available in the https://github.com/gist-ailab/teaching-where-to-look.

研究动机与目标

• 解决将高分辨率训练的模型应用于低分辨率（LR）图像时性能显著下降的问题。
• 通过利用高分辨率数据中的先验知识，缓解低分辨率图像中的空间信息损失。
• 通过迁移注意力图（表示应关注的位置）而非原始特征或logits，提升低分辨率识别性能。
• 证明该方法在人脸识别之外的泛化能力，适用于人脸检测与通用物体分类任务。
• 开发一种轻量化、高效的知识蒸馏框架，避免超分辨率方法带来的高昂计算成本。

提出的方法

• 训练一个高分辨率（HR）教师网络，利用CBAM模块生成细节丰富、信息量高的注意力图。
• 将HR教师网络与LR学生网络的注意力图之间的余弦相似度作为知识蒸馏损失。
• 优化学生网络，使其注意力图与教师网络对齐，突出关注眼睛、鼻子、嘴巴等关键面部区域。
• 将A-SKD损失与标准logits蒸馏结合，提升识别与检测任务的性能。
• 将方法应用于ResNet18并集成CBAM模块，以实现对物体分类与人脸检测任务的泛化。
• 通过数据增强与下采样（4×、16×、32×）模拟不同基准下的低分辨率条件。

实验结果

研究问题

• RQ1 高分辨率（HR）网络的注意力图能否作为低分辨率（LR）人脸识别的有效先验知识？
• RQ2 与基于特征或logits的蒸馏相比，通过余弦相似度迁移注意力图是否能提升LR识别性能？
• RQ3 A-SKD在人脸识别之外，对其他低分辨率视觉任务（如人脸检测与物体分类）的泛化能力如何？
• RQ4 在低分辨率设置下，注意力相似性损失是否优于AT与RKD等现有知识蒸馏方法？
• RQ5 A-SKD能否提升监控类低分辨率图像中对小尺寸人脸的检测能力？

主要发现

• 在4×下采样的ImageNet上，A-SKD在结合logits蒸馏时达到66.52%的top-1准确率，优于AT（65.79%）与RKD（65.95%）。
• 在WIDER FACE数据集上，16×下采样时，A-SKD使易样本mAP提升15.72%，中等样本提升14.15%，困难样本提升33.98%。
• 在32×下采样时，A-SKD使易样本mAP提升7.54%，中等样本提升12.59%，困难样本提升14.43%，表明对极端分辨率损失具有强鲁棒性。
• 定性结果表明，A-SKD显著增强了低分辨率图像中对小尺寸人脸的检测能力，如图6所示。
• 消融实验表明，注意力图是低分辨率识别中最有效的先验知识形式，而余弦相似度是最优的迁移机制。
• 该方法在人脸识别之外也具有良好的泛化能力，在通用物体分类与人脸检测任务中均表现出一致的性能提升。