[论文解读] Object landmark discovery through unsupervised adaptation

Enrique Sánchez, Georgios Tzimiropoulos|arXiv (Cornell University)|Oct 21, 2019

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出了一种无监督物体关键点发现方法，通过将预训练的全监督关键点检测器适配到新的物体类别，而无需任何标注的关键点。通过冻结预训练网络并仅以无监督方式学习一个小型投影矩阵，该方法在定位精度和稳定性方面显著优于从零开始训练或微调，实现了当前最优性能。

ABSTRACT

This paper proposes a method to ease the unsupervised learning of object landmark detectors. Similarly to previous methods, our approach is fully unsupervised in a sense that it does not require or make any use of annotated landmarks for the target object category. Contrary to previous works, we do however assume that a landmark detector, which has already learned a structured representation for a given object category in a fully supervised manner, is available. Under this setting, our main idea boils down to adapting the given pre-trained network to the target object categories in a fully unsupervised manner. To this end, our method uses the pre-trained network as a core which remains frozen and does not get updated during training, and learns, in an unsupervised manner, only a projection matrix to perform the adaptation to the target categories. By building upon an existing structured representation learned in a supervised manner, the optimization problem solved by our method is much more constrained with significantly less parameters to learn which seems to be important for the case of unsupervised learning. We show that our method surpasses fully unsupervised techniques trained from scratch as well as a strong baseline based on fine-tuning, and produces state-of-the-art results on several datasets. Code can be found at https://github.com/ESanchezLozano/SAIC-Unsupervised-landmark-detection-NeurIPS2019 .

研究动机与目标

• 解决无监督物体关键点检测的挑战，该挑战因模糊性、高层语义内容、视角变化和形变而变得困难。
• 通过利用在不同物体类别上预训练的监督关键点检测器的知识，减少对昂贵人工标注的依赖。
• 通过将适配表述为约束优化问题并仅进行最小参数更新，提升无监督关键点发现性能。
• 通过轻量级适配模块实现在多种物体类别上的高效、可扩展的关键点发现。
• 在准确性和一致性方面优于从零开始训练和标准微调基线。

提出的方法

• 该方法使用一个预训练的全监督关键点检测器作为冻结的核心网络，其在训练过程中不被更新。
• 仅通过无监督方式训练一个小型可学习投影矩阵，以将核心网络的特征适配到目标物体类别。
• 通过约束优化问题执行适配，以最小化同一物体在不同视角和变换下的不一致性误差。
• 该方法利用增量学习原则来稳定适配过程，并在无标签情况下提升泛化能力。
• 推理阶段使用 softargmax 层将热力图预测转换为离散的关键点坐标。
• 通过前向和后向一致性误差来评估方法，以衡量关键点的稳定性和定位精度。

实验结果

研究问题

• RQ1 能否在完全无监督的情况下，有效将预训练的监督关键点检测器适配到新的、未见过的物体类别？
• RQ2 在保持核心网络冻结的同时，仅学习一个小型投影矩阵，是否能带来优于从零开始训练或微调的性能？
• RQ3 与微调等强基线相比，该方法在不同视角下的关键点定位精度和一致性方面表现如何？
• RQ4 预训练核心网络的质量和训练图像数量对最终性能有何影响？
• RQ5 该方法能否泛化到逆向任务——例如，将面部关键点检测器适配以检测身体关键点？

主要发现

• 所提方法在多个数据集（包括 MAFL、AFLW、LS3D、UT-Zappos50k 和 Cats Head）上实现了当前最优性能，MAFL 上平均一致性误差为 2.14，Cats Head 上为 2.44。
• 在 Cats Head 数据集上，该方法将一致性误差从 7.50（从零开始训练）降低至 2.44，显著优于微调基线的 3.05。
• 当使用 68 个点的面部关键点网络作为核心网络来检测 10 个体部关键点时，该方法在 BBC-Pose 数据集上实现了 2.52 的一致性误差，展现出强大的泛化能力。
• 在 MAFL 数据集上，该方法将一致性误差从 15.09（10 个周期）降低至 2.52（110 个周期），表明在充分训练下具有强收敛性。
• 在所有评估数据集上，该方法均优于从零开始训练和微调，关键点稳定性与定位精度持续提升。
• 该方法仅向预训练网络增加了约 10% 的额外参数，从而实现了对大量物体类别的高效适配。