[论文解读] Teacher Supervises Students How to Learn From Partially Labeled Images for Facial Landmark Detection

Xuanyi Dong, Yi Yang|arXiv (Cornell University)|Aug 6, 2019

Face recognition and analysis参考文献 47被引用 7

一句话总结

该论文提出TS³，一种教师-学生框架，通过教师网络过滤由两个学生检测器生成的高质量伪标签，从而提升半监督面部关键点检测性能。学生检测器在无标签数据上迭代优化预测，而教师网络则动态评估并选择可靠的伪标签，使模型在300-W和AFLW基准上仅使用30%标注数据即可达到最先进性能。

ABSTRACT

Facial landmark detection aims to localize the anatomically defined points of human faces. In this paper, we study facial landmark detection from partially labeled facial images. A typical approach is to (1) train a detector on the labeled images; (2) generate new training samples using this detector's prediction as pseudo labels of unlabeled images; (3) retrain the detector on the labeled samples and partial pseudo labeled samples. In this way, the detector can learn from both labeled and unlabeled data to become robust. In this paper, we propose an interaction mechanism between a teacher and two students to generate more reliable pseudo labels for unlabeled data, which are beneficial to semi-supervised facial landmark detection. Specifically, the two students are instantiated as dual detectors. The teacher learns to judge the quality of the pseudo labels generated by the students and filter out unqualified samples before the retraining stage. In this way, the student detectors get feedback from their teacher and are retrained by premium data generated by itself. Since the two students are trained by different samples, a combination of their predictions will be more robust as the final prediction compared to either prediction. Extensive experiments on 300-W and AFLW benchmarks show that the interactions between teacher and students contribute to better utilization of the unlabeled data and achieves state-of-the-art performance.

研究动机与目标

• 通过半监督方式利用无标签数据，降低面部关键点检测的标注成本。
• 减少自训练框架中因低质量伪标签导致的误差累积。
• 在无需大量超参数调优的情况下，提升面部关键点检测的鲁棒性与泛化能力。
• 通过相互正则化与集成预测，实现多个学生检测器之间的有效协作。

提出的方法

• 两个学生检测器（CPM和Hourglass）在迭代自训练循环中为无标签面部图像生成伪标签。
• 教师网络通过基于预测一致性和置信度的可学习准则，评估学生生成的伪标签质量。
• 教师网络过滤掉低质量伪标签，仅保留高置信度且一致的预测结果，用于重新训练学生检测器。
• 学生检测器使用真实标注数据与过滤后的伪标签数据联合训练，通过融合两个学生的预测结果以提升最终输出性能。
• 教师网络在训练过程中通过改进的学生预测结果自适应更新，实现动态反馈并随时间提升选择准确性。
• 通过使用验证集指导高质量伪标签的选择，框架有效避免过拟合。

实验结果

研究问题

• RQ1 教师网络能否在半监督面部关键点检测中有效过滤学生检测器生成的低质量伪标签？
• RQ2 多个学生检测器之间的交互相比单模型自训练，性能提升效果如何？
• RQ3 所提出的教师-学生交互机制是否能在极少超参数调优下实现最先进性能？
• RQ4 当仅使用30%训练数据标注时，模型的泛化能力能达到何种程度？

主要发现

• 在300-W基准上，TS³仅使用10%标注数据即实现5.64 NME的平均误差，优于单模型基线（CPM：8.28 NME，HG：6.25 NME）。
• 使用20%标注数据时，TS³在300-W上的NME降低至5.03，表现出比SPL和SPaCo更快的收敛速度与更好的泛化能力。
• 在AFLW基准上，TS³在半监督设置下达到最先进性能，甚至在仅使用30%标签时超越了全监督模型。
• 消融实验证实，双学生检测器之间的交互使性能相比CPM提升30%，相比HG提升9%，凸显了集成与相互正则化的优势。
• 教师的质量过滤机制有效防止模型陷入局部最优，如SPL在第4轮后因伪标签质量差而性能下降。
• 该框架对数据不平衡具有鲁棒性，且除标准训练外无需额外超参数调优，而对比的协同训练策略的超参数调优复杂度随模型数量呈二次方增长。