[论文解读] SPCNet:Spatial Preserve and Content-aware Network for Human Pose Estimation

Yabo Xiao, Dongdong Yu+4 more|arXiv (Cornell University)|Apr 13, 2020

Human Pose and Action Recognition参考文献 27被引用 7

一句话总结

SPCNet 提出了一种新颖的、保持空间信息并具备内容感知能力的网络用于人体姿态估计，引入了空洞沙漏模块（Dilated Hourglass Module, DHM）以在保持高分辨率空间特征的同时获得大感受野，同时引入选择性信息模块（Selective Information Module, SIM）通过空间内容感知注意力机制自适应地融合多层级特征。该方法在 MPII、LSP 和 FLIC 基准测试中达到最先进性能，在 LSP 上取得 96.4% 的总 PCK 得分，在 FLIC 上达到 98.8%。

ABSTRACT

Human pose estimation is a fundamental yet challenging task in computer vision. Although deep learning techniques have made great progress in this area, difficult scenarios (e.g., invisible keypoints, occlusions, complex multi-person scenarios, and abnormal poses) are still not well-handled. To alleviate these issues, we propose a novel Spatial Preserve and Content-aware Network(SPCNet), which includes two effective modules: Dilated Hourglass Module(DHM) and Selective Information Module(SIM). By using the Dilated Hourglass Module, we can preserve the spatial resolution along with large receptive field. Similar to Hourglass Network, we stack the DHMs to get the multi-stage and multi-scale information. Then, a Selective Information Module is designed to select relatively important features from different levels under a sufficient consideration of spatial content-aware mechanism and thus considerably improves the performance. Extensive experiments on MPII, LSP and FLIC human pose estimation benchmarks demonstrate the effectiveness of our network. In particular, we exceed previous methods and achieve the state-of-the-art performance on three aforementioned benchmark datasets.

研究动机与目标

• 为解决人体姿态估计中持续存在的挑战，如关键点被遮挡、不可见或姿态异常的问题。
• 在捕捉大感受野的同时保持高分辨率的空间细节，以实现更精确的关键点定位。
• 实现在多个阶段和尺度下对多层级特征进行自适应、内容感知的融合。
• 在复杂场景（如人群密集、肢体重叠、图像模糊或形变严重）中提升性能。

提出的方法

• 空洞沙漏模块（Dilated Hourglass Module, DHM）用空洞卷积替代标准下采样操作，以在扩展感受野的同时保持空间分辨率。
• DHM 通过堆叠多个阶段来捕捉多尺度和多阶段的特征，并利用空洞瓶颈层保留空间细节。
• 选择性信息模块（Selective Information Module, SIM）通过关注局部内容的注意力机制，对来自不同层级的特征进行逐像素加权融合。
• SIM 中的注意力权重基于空间内容计算，实现根据局部区域复杂度动态选择特征。
• 网络采用端到端训练，并引入中间监督，结合堆叠的 DHM 与通过 SIM 实现的自适应融合，以优化关键点热力图预测。
• 该架构在 MPII、LSP 和 FLIC 基准上进行评估，消融实验验证了各模块的有效性。

实验结果

研究问题

• RQ1 能否设计一种网络架构，在实现大感受野的同时保持高空间分辨率，以提升关键点定位性能？
• RQ2 如何实现对来自不同阶段和尺度的多层级特征进行自适应融合，以提升在困难姿态下的性能？
• RQ3 内容感知注意力机制是否能提升在遮挡和异常姿态下的人体姿态估计中的特征选择能力？
• RQ4 所提出的模块是否能在 MPII、LSP 和 FLIC 等标准基准上超越现有最先进方法？

主要发现

• SPCNet 在 LSP 测试集上达到最先进水平的 96.4% 总 PCK 得分，优于先前方法。
• 在 LSP 数据集上，与最接近的竞争对手相比，SPCNet 在手腕关键点上提升了 4.4% 的 PCK，肘部关键点提升了 2.7%。
• 在 FLIC 数据集上，SPCNet 在肘部实现 99.3% 的 PCK@0.2，手腕为 98.3%，分别优于基线沙漏网络 0.3% 和 1.2%。
• 定性比较显示，该方法在处理不可见肢体、遮挡和异常姿态等挑战性情况时显著提升了预测性能。
• 消融实验确认，空洞沙漏模块（DHM）和选择性信息模块（SIM）均对性能提升有显著贡献。
• 网络在复杂场景中表现出强鲁棒性，包括模糊区域和肢体重叠情况，其热力图响应更高且更准确。