[论文解读] Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation

Jogendra Nath Kundu, Siddharth Seth+5 more|arXiv (Cornell University)|Apr 4, 2022

Human Pose and Action Recognition被引用 4

一句话总结

该论文提出了一种自监督的3D人体姿态估计框架，通过蒸馏未配对图像与3D姿态序列之间的非局部潜在关系，实现在无配对监督下的域自适应。通过利用预训练的生成对抗自编码器保证姿态的合理性，并在姿态和运动空间中引入高阶非局部关系，该方法在3DPW和3DHP等标准基准上实现了最先进性能，将MPJPE降低至86.2毫米，在未见迁移设置下表现优异。

ABSTRACT

Available 3D human pose estimation approaches leverage different forms of strong (2D/3D pose) or weak (multi-view or depth) paired supervision. Barring synthetic or in-studio domains, acquiring such supervision for each new target environment is highly inconvenient. To this end, we cast 3D pose learning as a self-supervised adaptation problem that aims to transfer the task knowledge from a labeled source domain to a completely unpaired target. We propose to infer image-to-pose via two explicit mappings viz. image-to-latent and latent-to-pose where the latter is a pre-learned decoder obtained from a prior-enforcing generative adversarial auto-encoder. Next, we introduce relation distillation as a means to align the unpaired cross-modal samples i.e. the unpaired target videos and unpaired 3D pose sequences. To this end, we propose a new set of non-local relations in order to characterize long-range latent pose interactions unlike general contrastive relations where positive couplings are limited to a local neighborhood structure. Further, we provide an objective way to quantify non-localness in order to select the most effective relation set. We evaluate different self-adaptation settings and demonstrate state-of-the-art 3D human pose estimation performance on standard benchmarks.

研究动机与目标

• 为解决3D人体姿态估计中的域偏移问题，实现从带标签源域到无标签目标域的自监督适应。
• 克服配对监督的局限性，后者在真实世界场景（如野外环境）中成本高且不切实际。
• 开发一种方法，通过潜在空间中的结构化、实例对齐的关系知识，对齐未配对的图像与3D姿态数据。
• 通过建模姿态和运动序列中的长程非局部交互，减少表示学习中的实例级错位。
• 在不依赖多视角、深度或2D关键点监督的前提下，实现在标准基准上的最先进性能。

提出的方法

• 该框架使用两种显式映射：图像到潜在空间的CNN，以及基于先验约束生成对抗自编码器（AAE）的预训练潜在空间到姿态解码器。
• 采用循环AAE在未配对的3D姿态序列上预训练运动嵌入，以确保时序一致性和合理性。
• 引入非局部关系（如“姿态翻转”和“反向翻转”）以建模姿态和运动空间中超越局部邻域的长程交互。
• 通过冻结的神经网络学习关系能量函数，回归关系对应物（如翻转或反转序列）的潜在嵌入。
• 通过蒸馏这些关系能量，对图像到潜在空间的网络进行微调，以最小化图像与姿态潜在流形之间的差异。
• 采用渐进式训练策略，应用多种关系损失：$\mathcal{L}_{LCR}$、$\mathcal{L}_{HCR}$、$\mathcal{L}_{3}^{z}$、$\mathcal{L}_{2}^{v}$ 和 $\mathcal{L}_{3}^{v}$，以逐步优化对齐效果。

实验结果

研究问题

• RQ1 在无配对监督下，潜在姿态和运动空间中的非局部高阶关系是否能有效对齐未配对的图像与3D姿态数据？
• RQ2 建模长程交互如何改善表示对齐并减少自监督3D姿态估计中的实例级错位？
• RQ3 所提出的框架在包括野外和演播室设置在内的多样化域之间具有多大程度的泛化能力？
• RQ4 预训练的生成解码器是否能在保证合理性的同时，实现对无标签目标域的有效适应？
• RQ5 不同关系损失如何贡献于最终性能？哪种组合能实现最优泛化？

主要发现

• 所提方法Ours(SH → W)在3DPW基准上实现了86.2毫米的最先进MPJPE，且在未见迁移设置下表现优异，优于先前方法。
• 同时引入非局部姿态与运动关系蒸馏（$\mathcal{L}_{3}^{z}$ 和 $\mathcal{L}_{3}^{v}$）使MPJPE从源域仅训练的209.6毫米显著降低至86.2毫米，证明了显著改进。
• 消融实验确认，蒸馏高阶非局部运动关系（$\mathcal{L}_{2}^{v}$ 和 $\mathcal{L}_{3}^{v}$）对于减少实例级错位至关重要。
• 使用演播室环境下的Human3.6M数据作为额外带标签源域（SH → W），显著缩小了域差距，并提升了对野外数据的泛化能力。
• 定性结果表明，该框架在多样化姿态、服装和背景条件下均表现出稳健的泛化能力，失败主要出现在严重遮挡或罕见运动姿态情况下。
• 由于先验约束的生成解码器，即使在缺乏配对监督的情况下，该框架仍能保持合理的3D姿态输出。