[论文解读] Occlusion Coherence: Detecting and Localizing Occluded Faces

Golnaz Ghiasi, Charless C. Fowlkes|arXiv (Cornell University)|Jun 28, 2015

Face recognition and analysis参考文献 33被引用 66

一句话总结

本文提出一种分层可变形部件模型，通过显式建模面部遮挡的一致性，利用合成遮挡数据提升部分遮挡下的人脸检测与关键点定位性能。该模型通过强制遮挡模式的空间一致性，在遮挡人脸基准测试中达到最先进性能，显著优于标准部件模型与基于回归的方法，尤其在严重遮挡情况下表现更优。

ABSTRACT

The presence of occluders significantly impacts object recognition accuracy. However, occlusion is typically treated as an unstructured source of noise and explicit models for occluders have lagged behind those for object appearance and shape. In this paper we describe a hierarchical deformable part model for face detection and landmark localization that explicitly models part occlusion. The proposed model structure makes it possible to augment positive training data with large numbers of synthetically occluded instances. This allows us to easily incorporate the statistics of occlusion patterns in a discriminatively trained model. We test the model on several benchmarks for landmark localization and detection including challenging new data sets featuring significant occlusion. We find that the addition of an explicit occlusion model yields a detection system that outperforms existing approaches for occluded instances while maintaining competitive accuracy in detection and landmark localization for unoccluded instances.

研究动机与目标

• 通过将遮挡建模为结构化、一致的现象而非无结构噪声，解决现有部件模型在处理部分遮挡时的局限性。
• 提升在现实场景中（如太阳镜、头发、他人遮挡面部部件）的关关键点定位与人脸检测精度。
• 通过在模型中引入结构假设，生成合成遮挡样本，缓解真实世界遮挡人脸训练数据稀缺的问题。
• 通过建模相邻部件间的相关遮挡模式，实现对哪些关键点被遮挡的准确预测，而不仅限于检测。
• 在保持未遮挡人脸性能竞争力的同时，显著提升对遮挡的鲁棒性，避免依赖预检测步骤。

提出的方法

• 提出一种具有两层结构的分层可变形部件模型（HPM）：全局人脸部件与局部关键点特征，实现紧凑且具有判别力的表征。
• 从一组有限的、具有空间一致性的遮挡模式中选择部件特定的遮挡状态，强制相邻关键点之间的遮挡一致性（例如，若下巴被遮挡，则嘴巴更可能也被遮挡）。
• 通过利用模型的结构约束，对部件进行合成遮挡，生成虚拟训练数据，避免完整图像合成，实现高效的数据增强。
• 采用依赖于部件潜在遮挡状态的判别性训练损失，使模型能从具有合理遮挡模式的负样本中学习。
• 在推理中利用动态规划，实现层级约束下部件位置与遮挡状态的联合优化。
• 将模型集成到多分辨率检测框架中，提升对小尺寸或部分可见人脸的检测能力。

实验结果

研究问题

• RQ1 将遮挡一致性（即相邻部件更可能同时被遮挡）建模是否能提升遮挡人脸的检测与定位性能？
• RQ2 在低资源遮挡场景下，基于结构化遮挡模式的合成数据增强是否比仅使用真实数据具有更好的泛化能力？
• RQ3 具有显式遮挡状态的部件模型是否能在关键点定位精度上超越端到端回归方法，尤其是在遮挡情况下？
• RQ4 与标准可变形部件模型相比，该模型的分层结构在多大程度上提升了对初始化和部分遮挡的鲁棒性？
• RQ5 该模型是否能比独立遮挡建模更准确地预测哪些关键点被遮挡？这种预测能力是否能提升下游任务（如身份识别）的性能？

主要发现

• 所提出的分层部件模型（HPM）在UCI-OFD数据集的遮挡子集上，显著优于标准DPM与Cascade DPM，对遮挡人脸的精确率与召回率均更高。
• 在COFW基准上，HPM在遮挡人脸的关键点定位精度上达到最先进水平，其对遮挡的鲁棒性优于姿态回归方法（如RCPR）与基于DCNN的模型。
• HPM在未遮挡人脸上的性能保持竞争力，在IBUG数据集上实现与姿态回归技术相当的关键点定位精度。
• HPM在遮挡状态预测上优于独立遮挡建模方法，证明强制相邻关键点间遮挡一致性可提升遮挡推理能力。
• HPM能检测到大量被标准级联检测器遗漏的严重遮挡人脸，凸显其在重叠人脸密集场景中的鲁棒性。
• 尽管推理速度约为前馈回归模型（如RCPR）的1/100，但HPM具备GPU加速潜力，表明存在运行时优化空间。