[论文解读] TransPose: Towards Explainable Human Pose Estimation by Transformer

Sen Yang, Zhibin Quan+2 more|arXiv (Cornell University)|Dec 28, 2020

Human Pose and Action Recognition被引用 41

一句话总结

TransPose 提出了一种基于 Transformer 的人体姿态估计架构，通过利用注意力机制揭示关键点之间的空间依赖关系，提升了模型的可解释性。该方法在 COCO 数据集上实现了最先进（SOTA）的准确率，同时比全卷积网络更轻量化且更高效，注意力图提供了针对图像的、关于关键点推理过程的可解释性说明。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have made remarkable progress on human pose estimation task. However, there is no explicit understanding of how the locations of body keypoints are predicted by CNN, and it is also unknown what spatial dependency relationships between structural variables are learned in the model. To explore these questions, we construct an explainable model named TransPose based on Transformer architecture and low-level convolutional blocks. Given an image, the attention layers built in Transformer can capture long-range spatial relationships between keypoints and explain what dependencies the predicted keypoints locations highly rely on. We analyze the rationality of using attention as the explanation to reveal the spatial dependencies in this task. The revealed dependencies are image-specific and variable for different keypoint types, layer depths, or trained models. The experiments show that TransPose can accurately predict the positions of keypoints. It achieves state-of-the-art performance on COCO dataset, while being more interpretable, lightweight, and efficient than mainstream fully convolutional architectures.

研究动机与目标

• 为解决深度卷积神经网络（CNN）在人体姿态估计中可解释性不足的问题，特别是关于关键点位置预测的机制。
• 探究姿态估计模型所学习到的空间依赖关系，尤其是身体关节等结构化变量之间的关系。
• 开发一种轻量化、高效且可解释的架构，其性能优于主流的全卷积网络。
• 通过可视化学习到的空间关系，验证注意力机制作为关键点预测合理解释的可行性。

提出的方法

• 将 Transformer 模块与低层次卷积特征结合，联合建模人体姿态估计中的局部与长距离空间关系。
• 在 Transformer 中使用自注意力层，捕捉图像中所有关键点之间的依赖关系，从而解释预测结果的推理依据。
• 构建一种混合架构，结合卷积特征提取与基于 Transformer 的推理机制，以提升准确率与可解释性。
• 利用注意力权重作为可解释的解释，展示哪些图像区域或关键点影响了每个关节的预测结果。
• 在 COCO 数据集上端到端训练模型，使用标准的姿态估计损失函数。
• 分析不同关键点类型、网络深度及训练模型下的注意力模式，以评估其一致性和特异性。

实验结果

研究问题

• RQ1 在基于 Transformer 的模型中，注意力机制如何在姿态估计过程中揭示人体关键点之间的空间依赖关系？
• RQ2 TransPose 中的注意力模式在多大程度上反映了图像特定与关键点类型特定的关系？
• RQ3 注意力图能否作为人体姿态估计中关键点预测的可靠且可解释的解释？
• RQ4 与最先进全卷积网络相比，TransPose 在准确率、效率和模型可解释性方面表现如何？

主要发现

• TransPose 在 COCO 关键点检测基准上实现了最先进性能，优于现有的全卷积架构。
• TransPose 中的注意力机制揭示了图像特定的空间依赖关系，且依赖关系因关键点类型和网络深度而异。
• 注意力图提供了有意义且可解释的说明，展示了每个关键点位置的预测如何基于图像中的上下文关系得出。
• 尽管具备更强的可解释性，TransPose 比主流全卷积网络更轻量化且更高效。
• 注意力揭示的空间依赖关系在不同关键点类型之间并非均匀分布，表明模型学习到了结构化且符合解剖学原理的关系。
• 该模型在不同训练模型中表现出一致且合理的注意力模式，支持注意力机制作为解释机制的有效性。