[论文解读] TRB: A Novel Triplet Representation for Understanding 2D Human Body

Haodong Duan, Kwan-Yee Lin+4 more|arXiv (Cornell University)|Oct 25, 2019

Human Pose and Action Recognition参考文献 43被引用 4

一句话总结

本文提出了一种新型的二维人体表征方法——人体三元组表征（TRB），结合骨骼关键点（用于姿态）与轮廓关键点（用于形状），实现更丰富、更灵活的人体理解。作者提出了TRB-Net，一种具有X结构、方向卷积和成对映射的双分支网络，可联合估计姿态与形状，在骨骼关键点任务和轮廓关键点任务上分别实现了13.3%和15.1%的误差降低，优于当前最先进方法。

ABSTRACT

Human pose and shape are two important components of 2D human body. However, how to efficiently represent both of them in images is still an open question. In this paper, we propose the Triplet Representation for Body (TRB) -- a compact 2D human body representation, with skeleton keypoints capturing human pose information and contour keypoints containing human shape information. TRB not only preserves the flexibility of skeleton keypoint representation, but also contains rich pose and human shape information. Therefore, it promises broader application areas, such as human shape editing and conditional image generation. We further introduce the challenging problem of TRB estimation, where joint learning of human pose and shape is required. We construct several large-scale TRB estimation datasets, based on popular 2D pose datasets: LSP, MPII, COCO. To effectively solve TRB estimation, we propose a two-branch network (TRB-net) with three novel techniques, namely X-structure (Xs), Directional Convolution (DC) and Pairwise Mapping (PM), to enforce multi-level message passing for joint feature learning. We evaluate our proposed TRB-net and several leading approaches on our proposed TRB datasets, and demonstrate the superiority of our method through extensive evaluations.

研究动机与目标

• 为解决缺乏能同时捕捉姿态与形状信息的统一二维人体表征的问题。
• 建立TRB估计的基准，这是一个新任务，要求从二维图像中联合学习姿态与形状。
• 开发一种多任务深度学习框架，有效同步学习骨骼关键点与轮廓关键点表征。
• 展示TRB在高级视觉任务中的实用性，如条件图像生成与人体形状编辑。

提出的方法

• 提出人体三元组表征（TRB），一种紧凑的二维表征，结合骨骼关键点（用于姿态）与轮廓关键点（用于形状）。
• 基于LSP、MPII和COCO构建大规模TRB估计数据集，通过标注轮廓关键点，支持基准评估。
• 设计TRB-Net，一种双分支网络，通过共享特征学习联合估计骨骼与轮廓关键点。
• 引入X结构（Xs），一种信息传递模块，实现在骨骼分支与轮廓分支之间的多层次特征交换。
• 提出方向卷积（DC），一种任务特定的卷积算子，用于建模特征图之间的内向外与外向内空间关系。
• 实现成对映射（PM），一种约束机制，强制骨骼与轮廓分支之间预测的一致性，以提升泛化能力。

实验结果

研究问题

• RQ1 统一的二维人体表征能否有效捕捉刚性姿态与语义形状信息？
• RQ2 姿态与形状的联合学习在多大程度上可提升关键点估计精度，超越单任务方法？
• RQ3 轮廓关键点在姿态估计与形状感知图像生成中的性能提升程度如何？
• RQ4 TRB能否支持实际应用，如条件图像生成与人体形状编辑？

主要发现

• 与当前最先进方法相比，TRB-Net在骨骼关键点估计任务上实现13.3%的误差降低，在轮廓关键点估计任务上实现15.1%的误差降低。
• 在LSP数据集上，TRB-Net达到94.5%的PCK@0.2，显著优于先前最先进方法，尤其在手腕与脚踝等困难关键点位置表现突出。
• 在MPII数据集上，TRB-Net达到92.2%的平均PCKh@0.5，优于仅在MPII上训练的方法，且即使在使用LIP和LSP等额外数据的模型对比下仍保持竞争力。
• 仅使用COCO数据集一半的训练数据，TRB-Net（hg2-ours_sub）的性能即可与在完整数据集上训练的基线模型相当，证明了TRB表征的高效性。
• 基于TRB的条件图像生成框架成功实现了姿态与形状引导的图像合成，并支持显式的人体形状编辑，在可控性与视觉质量方面优于基线方法。