[论文解读] Structured Feature Learning for Pose Estimation

Xiao Chu, Wanli Ouyang+2 more|arXiv (Cornell University)|Mar 30, 2016

Human Pose and Action Recognition参考文献 35被引用 6

一句话总结

该论文提出了一种结构化特征学习框架，通过卷积层实现的几何变换核，在特征图层面直接建模身体关节之间的空间关系与共现关系。通过采用双向树状消息传递机制，该方法增强了特征表示能力，在LSP数据集上达到80.8%的平均PCP，在FLIC数据集上达到95.2%，即使经过极少的后处理，仍优于先前方法。

ABSTRACT

In this paper, we propose a structured feature learning framework to reason the correlations among body joints at the feature level in human pose estimation. Different from existing approaches of modelling structures on score maps or predicted labels, feature maps preserve substantially richer descriptions of body joints. The relationships between feature maps of joints are captured with the introduced geometrical transform kernels, which can be easily implemented with a convolution layer. Features and their relationships are jointly learned in an end-to-end learning system. A bi-directional tree structured model is proposed, so that the feature channels at a body joint can well receive information from other joints. The proposed framework improves feature learning substantially. With very simple post processing, it reaches the best mean PCP on the LSP and FLIC datasets. Compared with the baseline of learning features at each joint separately with ConvNet, the mean PCP has been improved by 18% on FLIC. The code is released to the public.

研究动机与目标

• 通过在特征层面而非置信图层面建模身体关节之间的结构性关系，提升人体姿态估计性能。
• 在特征图中保留丰富的细节信息（如肢体朝向、遮挡状态、衣物外观），以实现更精确的关节点定位。
• 设计一个端到端可训练的框架，联合学习特征及其关节间关系。
• 设计一种高效的讯息传递机制，通过双向树结构使每个关节能从相关邻近关节接收信息。

提出的方法

• 引入几何变换核，利用标准卷积层实现，用于建模不同身体关节特征图之间的空间关系与共现关系。
• 采用双向树状结构的消息传递机制，实现相关关节之间双向的信息流动，增强特征表示能力。
• 利用卷积神经网络主干网络，在端到端深度学习系统中联合学习特征图及其结构化关系。
• 通过相对关节点位置的k-means聚类，为每个关节点生成多个置信图，以捕捉外观变化，提升鲁棒性。
• 应用数据增强技术，包括水平翻转和旋转，以增加训练多样性，尤其在LSP等小规模数据集上。
• 采用多尺度特征学习策略，针对LSP（输入336×336，输出42×42）和FLIC设置不同的输入与输出分辨率。

实验结果

研究问题

• RQ1 在特征图层面建模关节点之间的结构性关系，是否能优于在置信图上建模，从而实现更优的姿态估计？
• RQ2 如何有效利用特征图中保留的丰富多维信息（如遮挡、衣物、肢体朝向）来提升关节点预测性能？
• RQ3 何种消息传递架构最适合以结构化、可学习的方式聚合关节点之间的相关特征？
• RQ4 与单向或非结构化消息传递相比，双向树结构是否能提升特征学习效果？
• RQ5 在特征层面学习关节点关系在多大程度上能减少对复杂后处理技术的依赖？

主要发现

• 所提方法在LSP数据集上达到80.8%的平均PCP，较之前最先进方法提升5.8%。
• 在FLIC数据集上，该方法达到95.2%的平均PCP，较仅独立学习每个关节点特征的基线卷积神经网络提升18%。
• 与单分支模型相比，双向树状结构模型性能提升5.4%，证明了双向信息流的有效性。
• 通过为每个关节点使用多个置信图（基于相对关节点位置的k-means聚类），相比单置信图训练，性能额外提升1.8%。
• 即使仅采用极少的后处理，该方法仍优于依赖复杂后处理流程的最先进方法。
• 该模型在所有身体部位上均一致提升性能，尤其在下肢和手臂上提升最大，表明其对困难关节点具有强大的泛化能力。