[论文解读] Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement

Qiang Nie, Ziwei Liu+1 more|arXiv (Cornell University)|Jul 14, 2020

Human Pose and Action Recognition被引用 10

一句话总结

本文提出了一种无监督的3D人体姿态表征方法，通过一种新型的序列双向递归网络（SeBiReNet）与孪生去噪自编码器结合，实现姿态相关与视角相关特征的解耦。该方法保留了内在的姿态运动学与几何特性，在姿态去噪和无监督动作识别任务中达到最先进性能，并实现了无需监督或手工设计特征的视角不变表征学习。

ABSTRACT

Learning a good 3D human pose representation is important for human pose related tasks, e.g. human 3D pose estimation and action recognition. Within all these problems, preserving the intrinsic pose information and adapting to view variations are two critical issues. In this work, we propose a novel Siamese denoising autoencoder to learn a 3D pose representation by disentangling the pose-dependent and view-dependent feature from the human skeleton data, in a fully unsupervised manner. These two disentangled features are utilized together as the representation of the 3D pose. To consider both the kinematic and geometric dependencies, a sequential bidirectional recursive network (SeBiReNet) is further proposed to model the human skeleton data. Extensive experiments demonstrate that the learned representation 1) preserves the intrinsic information of human pose, 2) shows good transferability across datasets and tasks. Notably, our approach achieves state-of-the-art performance on two inherently different tasks: pose denoising and unsupervised action recognition. Code and models are available at: \url{https://github.com/NIEQiang001/unsupervised-human-pose.git}

研究动机与目标

• 学习一种在视角变化下仍能保留内在姿态信息的3D人体姿态表征。
• 在完全无监督的情况下解耦姿态相关与视角相关特征，避免因先验手工设计不变性导致的信息损失。
• 利用可学习的序列架构建模人体骨骼中的运动学与几何依赖关系。
• 提升所学表征在不同数据集与任务（如姿态去噪与无监督动作识别）之间的可迁移性。
• 在潜在空间中实现视角迁移，作为提升解耦效果与鲁棒性的正则化手段。

提出的方法

• 提出一种序列双向递归网络（SeBiReNet），用于建模人体骨骼中关节之间的运动学依赖关系，捕捉前向与后向的运动传播。
• 设计一种共享权重的孪生去噪自编码器（DAE），在无监督条件下从受损的骨骼序列中学习解耦表征。
• 将潜在码分解为两类独立特征：姿态相关（视角不变）与视角相关（视角可变），实现联合使用以构建表征。
• 对视角相关特征施加单位正交矩阵约束，以强化解耦效果并提升泛化能力。
• 在随机旋转姿态与视角迁移姿态上引入特征损失与重建损失，以正则化视角不变姿态特征的学习。
• 采用双流框架从2D姿态估计3D姿态，其中3D流预先训练，2D流被正则化以匹配3D表征。

实验结果

研究问题

• RQ1 完全无监督的方法能否有效解耦3D人体姿态数据中的姿态相关与视角相关特征？
• RQ2 与直接提取视角不变特征相比，解耦特征是否能保留更多内在姿态信息？
• RQ3 解耦表征是否能在不同数据集与任务（如姿态去噪与无监督动作识别）间实现良好泛化？
• RQ4 与标准RNN或CNN相比，SeBiReNet在建模关节间运动学依赖关系方面效果如何？
• RQ5 所学表征是否能支持潜在空间中的视角迁移，以提升鲁棒性与泛化能力？

主要发现

• 在N-UCLA数据集上，该方法在跨视角动作识别任务中达到80.30%的准确率，显著优于基线方法（51.53%）与消融变体。
• 在NTU RGB+D数据集上，该方法达到79.71%的准确率，证明了其在不同数据集间的强大泛化能力。
• 消融研究显示，各组件（尤其是特征损失与视角迁移姿态重建）对性能有逐步贡献，完整架构达到最高准确率。
• 该方法在无监督动作识别与姿态去噪任务中达到最先进性能，优于现有无监督与弱监督基线方法。
• 在从2D姿态估计3D姿态任务中，该方法在H3.6M数据集上达到53.1 mm的MPJPE，尽管采用简单的扩展框架，仍优于多个强基线方法。
• 模型仅使用0.27百万参数，相比其他参数量更大的最先进方法展现出更高的效率。