[论文解读] Transferring Landmark Annotations for Cross-Dataset Face Alignment

Shizhan Zhu, Cheng Li+2 more|arXiv (Cornell University)|Sep 2, 2014

Face recognition and analysis参考文献 23被引用 22

一句话总结

本文提出一种归纳级级联回归方法，用于在具有不同标注协议的面部对齐数据集之间迁移关键点标注，从而实现对多样化数据集的有效融合。通过利用共享语义关键点（如眼角、嘴角），该方法将源数据集的密集标注迁移至目标数据集，显著提升跨数据集及未见领域下的面部对齐性能，相较于封闭世界基线方法平均提升16.6%，相较于简单融合方法提升11.4%。

ABSTRACT

Dataset bias is a well known problem in object recognition domain. This issue, nonetheless, is rarely explored in face alignment research. In this study, we show that dataset plays an integral part of face alignment performance. Specifically, owing to face alignment dataset bias, training on one database and testing on another or unseen domain would lead to poor performance. Creating an unbiased dataset through combining various existing databases, however, is non-trivial as one has to exhaustively re-label the landmarks for standardisation. In this work, we propose a simple and yet effective method to bridge the disparate annotation spaces between databases, making datasets fusion possible. We show extensive results on combining various popular databases (LFW, AFLW, LFPW, HELEN) for improved cross-dataset and unseen data alignment.

研究动机与目标

• 解决面部对齐中的数据集偏差问题，即在某一数据集上训练的模型因分布与标注差异而在其他数据集上表现不佳。
• 克服传统方法中因关键点标注协议不兼容而需耗时的人工重新标注，难以合并不同数据集的挑战。
• 通过自动标准化标注空间，实现对多个面部对齐数据集（如LFW、AFLW、LFPW、HELEN）的融合。
• 通过利用多样化训练数据，提升模型在未见领域（尤其是存在遮挡或复杂姿态的情况）下的泛化能力。
• 通过标注迁移，在LFW数据集中发布密集的68点和194点标注，提升其对未来研究的实用性。

提出的方法

• 识别在不同数据集中具有一致定义的共享语义关键点（如眼角、嘴角、瞳孔中心），尽管其总关键点数量不同。
• 利用这些共享关键点作为对齐锚点，通过归纳对齐过程在源数据集与目标数据集之间建立几何对应关系。
• 应用级联回归框架（TCR），联合优化形状回归与标注迁移，利用源数据集的密集标注引导在目标域上的拟合过程。
• 通过在源数据集和目标数据集上联合训练实现归纳学习，利用共享关键点约束将源数据集的标注迁移至目标域。
• 在级联回归中利用形状相关特征与迭代优化，提升目标数据集上关键点定位的准确性。
• 利用迁移后的标注丰富稀疏的目标数据集，实现在无需人工重新标注的前提下，在目标域中获得高质量的密集标注。

实验结果

研究问题

• RQ1 是否可以在不进行人工重新标注的情况下，标准化多样化面部对齐数据集之间的标注空间？
• RQ2 从源数据集迁移密集标注至具有不同标注协议的目标数据集，能在多大程度上提升目标数据集上的性能？
• RQ3 当使用所提出的标注迁移方法在多个数据集间融合训练数据时，模型泛化能力如何提升？
• RQ4 在联合数据集（如LFW + AFLW）上训练的模型，是否能在跨数据集及未见领域评估中超越仅在单一数据集上训练的模型？
• RQ5 所提出的方法是否能在不使用COFW自身训练数据的情况下，有效迁移到具有挑战性的遮挡数据集（如COFW）？

主要发现

• 所提出的归纳级联回归（TCR）方法在单一数据集上训练并在另一数据集上测试时，相较于‘封闭世界’基线方法（SDM），在跨数据集评估中实现了16.6%的平均性能提升。
• 与简单融合训练集相比，该方法在平均性能上提升了11.4%，证明了标注空间标准化的有效性。
• 在具有严重遮挡的COFW数据集上，使用LFW和AFLW（不含COFW数据）训练的TCR模型，性能优于在COFW自身数据上训练的模型，表明其具备更优的泛化能力。
• TCR方法在未见领域（包括严重遮挡与非正面姿态等复杂情况）中均取得了当前最优结果。
• 该方法成功地将密集的68点和194点标注迁移至原本仅有5点标注的LFW数据集，显著提升了其标注质量。
• 在不同源-目标组合中，性能相对提升范围为8%至39%，其中从HELEN向LFW和LFPW迁移时获得的增益最大。