[论文解读] Source-free Domain Adaptive Human Pose Estimation

Qucheng Peng, Ce Zheng+1 more|arXiv (Cornell University)|Aug 6, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

本文提出了一种无源域自适应人体姿态估计（SFDA-HPE）的新任务，该任务在无法访问源数据的情况下，将基于合成数据训练的模型适应到真实世界数据。该方法提出一种三模型框架，包含源数据保护模块以保留源知识，并引入基于新型空间概率空间和姿态特定对比学习的目标相关模块，从而在多个基准上实现最先进性能，相比之前方法最高提升5.6%。

ABSTRACT

Human Pose Estimation (HPE) is widely used in various fields, including motion analysis, healthcare, and virtual reality. However, the great expenses of labeled real-world datasets present a significant challenge for HPE. To overcome this, one approach is to train HPE models on synthetic datasets and then perform domain adaptation (DA) on real-world data. Unfortunately, existing DA methods for HPE neglect data privacy and security by using both source and target data in the adaptation process. To this end, we propose a new task, named source-free domain adaptive HPE, which aims to address the challenges of cross-domain learning of HPE without access to source data during the adaptation process. We further propose a novel framework that consists of three models: source model, intermediate model, and target model, which explores the task from both source-protect and target-relevant perspectives. The source-protect module preserves source information more effectively while resisting noise, and the target-relevant module reduces the sparsity of spatial representations by building a novel spatial probability space, and pose-specific contrastive learning and information maximization are proposed on the basis of this space. Comprehensive experiments on several domain adaptive HPE benchmarks show that the proposed method outperforms existing approaches by a considerable margin. The codes are available at https://github.com/davidpengucf/SFDAHPE.

研究动机与目标

• 解决在无法访问源数据的情况下，合成数据与真实世界人体姿态估计数据之间域偏移的挑战。
• 克服现有无源域自适应方法在处理人体关键点预测稀疏性与空间结构方面的局限性。
• 在严格的数据隐私约束下，开发一种既能保留源知识又能适应目标域分布的框架。
• 通过引入新型损失函数与表征学习策略，提升跨域人体姿态估计基准上的性能。

提出的方法

• 该框架由三个模型组成：源模型、中间模型和目标模型，实现源知识保护与目标适应的解耦学习。
• 通过知识蒸馏与参数正则化，源保护模块抵抗噪声与灾难性遗忘，以保留源知识。
• 目标相关模块基于关键点关系构建新型空间概率空间，以减少稀疏性并改善表征学习。
• 在空间概率空间上应用姿态特定对比学习与信息最大化，以增强特征判别能力。
• 引入三种关键损失：残差损失（$\mathcal{L}_{res}$）用于特征正则化，对比损失（$\mathcal{L}_{cst}$）用于特征对齐，信息最大化损失（$\mathcal{L}_{im}$）用于表征学习。
• 采用类教师-学生更新机制的渐进式适应策略，以稳定训练并提升泛化能力。

Figure 1: Process of heatmap-based 2D HPE. The model includes two components: the feature extractor $G$ and the regressor $F$ . After feeding the input image to the model, we obtain $K$ output heatmaps corresponding to $K$ keypoints.

实验结果

研究问题

• RQ1 无源域自适应能否有效应用于2D人体姿态估计任务，其中关键点稀疏性与空间结构使分布对齐复杂化？
• RQ2 在适应过程中，如何在不直接访问源数据的情况下保留源知识？
• RQ3 需要何种新型空间表征，才能有效建模人体姿态估计中稀疏关键点分布？
• RQ4 对比学习与信息最大化在无源设置下的适应中，能带来多大程度的性能提升？

主要发现

• 所提方法在SURREAL → LSP基准上实现5.6%的性能提升，在RHD → FreiHand上实现3.3%的增益，优于现有无源方法。
• 在SURREAL → LSP任务中，目标相关（TR）模块带来5.6%的性能提升，而源保护（SP）模块实现5.1%的性能增益。
• 消融实验表明，对比损失（$\mathcal{L}_{cst}$）贡献最大（在SURREAL → LSP上提升1.7%），其次是信息最大化损失（$\mathcal{L}_{im}$）贡献1.2%。
• 在SURREAL → LSP上，包含全部三种损失（$\mathcal{L}_{res}, \mathcal{L}_{cst}, \mathcal{L}_{im}$）的完整模型达到83.2%的平均准确率，相比基线提升2.9%。
• 在未见域的域泛化设置下，该方法在Human3.6M上达到70.5%的平均准确率，较第二好的方法提升2.6%。
• 该模型在未见域上泛化良好，在FreiHand上优于先前无源方法1.6%，在Human3.6M上提升2.6%。

Figure 2: Overall framework of our method. It includes three models, each with one feature extractor and one regressor. The adaptation contains two steps: Step A and Step B. Step A is applied for source-protect adaptation, while Step B aims at target-relevant adaptation. The solid arrows show the fo