[论文解读] PropagationNet: Propagate Points to Curve to Learn Structure Information

Xiehe Huang, Weihong Deng+3 more|arXiv (Cornell University)|Jun 25, 2020

Face recognition and analysis参考文献 38被引用 5

一句话总结

本文提出 PropagationNet，一种新颖的人脸对齐方法，通过将关键点热图传播至边界热图以学习结构信息，从而增强深度学习模型。通过集成传播模块、焦点翼损失（Focal Wing Loss）以及抗混叠卷积神经网络的多视角沙漏结构，该模型在 WFLW 上实现 4.05% 的平均误差，300W 全集上为 2.93%，COFW 上为 3.71%，达到当前最优性能。

ABSTRACT

Deep learning technique has dramatically boosted the performance of face alignment algorithms. However, due to large variability and lack of samples, the alignment problem in unconstrained situations, \emph{e.g}\onedot large head poses, exaggerated expression, and uneven illumination, is still largely unsolved. In this paper, we explore the instincts and reasons behind our two proposals, \emph{i.e}\onedot Propagation Module and Focal Wing Loss, to tackle the problem. Concretely, we present a novel structure-infused face alignment algorithm based on heatmap regression via propagating landmark heatmaps to boundary heatmaps, which provide structure information for further attention map generation. Moreover, we propose a Focal Wing Loss for mining and emphasizing the difficult samples under in-the-wild condition. In addition, we adopt methods like CoordConv and Anti-aliased CNN from other fields that address the shift-variance problem of CNN for face alignment. When implementing extensive experiments on different benchmarks, \emph{i.e}\onedot WFLW, 300W, and COFW, our method outperforms state-of-the-arts by a significant margin. Our proposed approach achieves 4.05\% mean error on WFLW, 2.93\% mean error on 300W full-set, and 3.71\% mean error on COFW.

研究动机与目标

• 解决在大姿态、极端表情和光照不均等非约束条件下的人脸对齐挑战。
• 克服卷积神经网络在捕捉面部结构信息方面的局限性，该局限性会阻碍在遮挡或形变情况下的关键点准确预测。
• 缓解野外数据集中极端条件样本不足导致的数据不平衡问题，避免模型学习产生偏差。
• 缓解堆叠沙漏网络中因池化层导致的位移敏感性问题，该问题会降低特征定位精度。
• 开发一种轻量级、端到端可训练的模块，有效将关键点信息传递至边界表征，以增强结构感知能力。

提出的方法

• 提出传播模块（Propagation Module），一种轻量级、可微的架构，通过连续卷积操作将关键点热图传播至边界热图，使网络能够学习面部结构。
• 设计焦点翼损失（Focal Wing Loss），一种源自 AWing 的动态损失函数，可在训练过程中调整样本权重，突出难以学习的样本，提升在极端条件下的泛化能力。
• 将抗混叠卷积神经网络（anti-aliased CNN）集成至多视角沙漏结构中，通过在下采样前应用抗混叠滤波器，减少位移敏感性，保留空间精度。
• 利用 CoordConv 增强特征表示，通过向特征图中注入坐标信息，提升定位精度。
• 使用带有残差块的堆叠沙漏主干网络进行训练，结合热图回归与从传播边界热图生成的 Sigmoid 归一化注意力图。
• 采用数据增强和类别平衡策略，减轻训练集与测试集中数据分布不均的影响。

实验结果

研究问题

• RQ1 将关键点热图传播至边界热图是否能提升深度人脸对齐网络中的面部结构建模能力？
• RQ2 如焦点翼损失（Focal Wing Loss）这类动态加权损失函数，对野外人脸对齐中罕见且难样本的模型性能有何影响？
• RQ3 抗混叠卷积神经网络与多视角沙漏模块在多大程度上可减少位移敏感性并提升人脸对齐中的定位精度？
• RQ4 通过边界热图集成结构信息，是否能显著提升在遮挡、模糊或非均匀光照等极端条件下的鲁棒性？
• RQ5 像传播模块这样的轻量级、端到端模块，是否能在准确率与效率上超越更大规模、独立的 GAN 基础边界生成网络？

主要发现

• 传播模块在 WFLW 上将平均误差降低 7.14%（从 4.81% 降至 4.48%），并提升 AUC 5.63%，证明其在捕捉结构信息方面的有效性。
• 焦点翼损失相比 AWing 基线将 NME 降低 3.53%（从 4.81% 降至 4.64%），同时提升识别率（FR）与 AUC，表明其对难样本的处理能力更优。
• 结合抗混叠卷积神经网络的多视角沙漏结构相比基线将 NME 降低 2.91%（从 4.81% 降至 4.67%），显示出对空间位移更强的鲁棒性。
• 完整 PropagationNet 模型在 WFLW 上实现 4.05% 的平均误差，300W 全集上为 2.93%，COFW 上为 3.71%，在所有基准测试中均优于当前最先进方法。
• 消融实验表明，传播模块、焦点翼损失与抗混叠沙漏模块各自独立且显著地贡献于性能提升。
• 尽管参数量（36.30M）和 FLOPS（42.83G）较高，PropagationNet 仍实现更优的准确率，表明其复杂度由性能增益合理支撑。