[论文解读] SRNet: Improving Generalization in 3D Human Pose Estimation with a Split-and-Recombine Approach

Ailing Zeng, Xiao Sun+4 more|arXiv (Cornell University)|Jul 18, 2020

Human Pose and Action Recognition参考文献 41被引用 17

一句话总结

SRNet 通过将人体分解为局部关节组并在独立分支中处理，同时重新组合低维全局上下文以保持一致性，从而提升 3D 人体姿态估计的泛化能力。该方法减轻了长尾姿态分布的影响，在视频设置下显著提升了罕见及未见姿态的性能，尤其在 Human3.6M 和 3DHP 数据集上取得了当前最优结果。

ABSTRACT

Human poses that are rare or unseen in a training set are challenging for a network to predict. Similar to the long-tailed distribution problem in visual recognition, the small number of examples for such poses limits the ability of networks to model them. Interestingly, local pose distributions suffer less from the long-tail problem, i.e., local joint configurations within a rare pose may appear within other poses in the training set, making them less rare. We propose to take advantage of this fact for better generalization to rare and unseen poses. To be specific, our method splits the body into local regions and processes them in separate network branches, utilizing the property that a joint position depends mainly on the joints within its local body region. Global coherence is maintained by recombining the global context from the rest of the body into each branch as a low-dimensional vector. With the reduced dimensionality of less relevant body areas, the training set distribution within network branches more closely reflects the statistics of local poses instead of global body poses, without sacrificing information important for joint inference. The proposed split-and-recombine approach, called SRNet, can be easily adapted to both single-image and temporal models, and it leads to appreciable improvements in the prediction of rare and unseen poses.

研究动机与目标

• 为解决在罕见或未见全局姿态下 3D 人体姿态估计泛化能力差的挑战。
• 通过利用训练数据中局部频繁出现的关节构型，缓解训练数据中的长尾分布问题。
• 在不依赖合成数据增强的前提下，提升模型对未见姿态的鲁棒性。
• 在通过结构化网络分解增强局部特征学习的同时，保持全局姿态的一致性。
• 在单帧与时序 3D 姿态估计基准上均实现当前最优性能。

提出的方法

• 网络将人体划分为具有强内部依赖关系的局部关节组，每组在专用分支中处理。
• 每个分支独立学习局部关节构型，降低不相关全局身体区域的影响。
• 从其他分支计算低维全局上下文向量，并重新组合到每个分支中，以保持姿态一致性。
• 对全局上下文进行降维，以最小化无关身体部位在局部特征学习中的干扰。
• 该架构兼容单图与时序模型，可应用于基于视频的姿态估计。
• 该方法无需额外的数据增强，仅更高效地利用原始训练数据。

实验结果

研究问题

• RQ1 能否利用在训练集中频繁出现的局部关节构型，来提升对罕见或未见全局姿态的泛化能力？
• RQ2 与标准端到端网络相比，将身体划分为局部区域并重新组合全局上下文是否能提升对罕见姿态的性能？
• RQ3 该分拆与重组方法是否能在单帧与基于视频的 3D 姿态估计上均超越现有最优方法？
• RQ4 全局上下文向量的维度如何影响性能与泛化能力？
• RQ5 该方法在多大程度上减轻了训练数据中长尾姿态分布的影响？

主要发现

• 与先前最优方法 [7] 相比，SRNet 在 Human3.6M 的 Cross Action 协议上实现了 12.2% 的相对提升（减少 11.4mm），表现更优。
• 在 PI-3DHP 测试集上，SRNet 实现了 82.0mm 的平均 MPJPE，优于比较中的所有先前方法。
• 在输入为 2D 真值的情况下，SRNet 在 Human3.6M 上实现 32.0mm 的 MPJPE，相比 [27]（37.2mm）实现了 14.0% 的相对提升。
• 当使用 2D 关键点检测结果作为输入时，SRNet 将 MPJPE 降低了 4.3%（从 46.8mm 降至 44.8mm），表明对检测误差具有强鲁棒性。
• 该模型仅使用 3.61M 参数，约为 [27] 中 16.95M 参数的五分之一，体现出高效率。
• 消融实验确认，分拆与重组设计显著提升了对罕见动作的性能，尤其在训练频率较低的动作上。