[论文解读] ViTPose++: Vision Transformer for Generic Body Pose Estimation

Yufei Xu, Jing Zhang+2 more|arXiv (Cornell University)|Dec 7, 2022

Human Pose and Action Recognition被引用 6

一句话总结

本文提出 ViTPose 和 ViTPose++，这两种基于视觉变换器的模型结构简单但性能强大，适用于通用人体姿态估计。通过采用简洁的非层级视觉变换器主干网络与轻量化解码器，ViTPose 在 MS COCO 及多个基准测试中实现了最先进性能；ViTPose++ 通过知识分解实现跨多种体型的多任务学习，设定新纪录的同时保持高速度。

ABSTRACT

In this paper, we show the surprisingly good properties of plain vision transformers for body pose estimation from various aspects, namely simplicity in model structure, scalability in model size, flexibility in training paradigm, and transferability of knowledge between models, through a simple baseline model dubbed ViTPose. Specifically, ViTPose employs the plain and non-hierarchical vision transformer as an encoder to encode features and a lightweight decoder to decode body keypoints in either a top-down or a bottom-up manner. It can be scaled up from about 20M to 1B parameters by taking advantage of the scalable model capacity and high parallelism of the vision transformer, setting a new Pareto front for throughput and performance. Besides, ViTPose is very flexible regarding the attention type, input resolution, and pre-training and fine-tuning strategy. Based on the flexibility, a novel ViTPose+ model is proposed to deal with heterogeneous body keypoint categories in different types of body pose estimation tasks via knowledge factorization, i.e., adopting task-agnostic and task-specific feed-forward networks in the transformer. We also empirically demonstrate that the knowledge of large ViTPose models can be easily transferred to small ones via a simple knowledge token. Experimental results show that our ViTPose model outperforms representative methods on the challenging MS COCO Human Keypoint Detection benchmark at both top-down and bottom-up settings. Furthermore, our ViTPose+ model achieves state-of-the-art performance simultaneously on a series of body pose estimation tasks, including MS COCO, AI Challenger, OCHuman, MPII for human keypoint detection, COCO-Wholebody for whole-body keypoint detection, as well as AP-10K and APT-36K for animal keypoint detection, without sacrificing inference speed.

研究动机与目标

• 探究纯视觉变换器在无需任务特定架构修改的情况下，是否可实现通用人体姿态估计的最先进性能。
• 为自顶向下与自底向上姿态估计任务构建一个可扩展、灵活且可迁移的基线模型。
• 通过统一变换器架构中的知识分解，实现对异构人体关键点类别（如人类、动物）的多任务学习。
• 通过使用简单的知识令牌，验证从大模型到小模型的知识蒸馏效果。
• 通过将模型容量从 20M 扩展至 1B 参数，建立姿态估计中吞吐量与准确率的新帕累托前沿。

提出的方法

• ViTPose 使用纯非层级视觉变换器作为编码器，搭配包含两层转置卷积与预测头的轻量化解码器，用于自顶向下或自底向上的姿态估计中的热力图回归。
• 视觉变换器主干网络通过掩码图像建模（如 MAE）进行预训练，以提供强大的特征初始化。
• ViTPose++ 在变换器块中引入任务特定与任务无关的前馈网络（FFN），以实现不同人体关键点检测任务之间的知识分解。
• ViTPose++ 中的知识分解受专家混合模型（MoE）启发，使模型能够学习共享与特定任务的表示，以适应不同体型。
• 使用知识令牌将大 ViTPose 模型的知识蒸馏到小模型中，实现高效的模型间知识迁移。
• 模型支持灵活的输入分辨率、注意力类型以及预训练/微调策略，提升在不同数据集上的适应能力。

实验结果

研究问题

• RQ1 在不进行任务特定架构设计的前提下，纯视觉变换器是否可实现人体姿态估计的最先进性能？
• RQ2 视觉变换器的可扩展性如何影响姿态估计中模型大小、吞吐量与准确率之间的权衡？
• RQ3 通过知识分解，统一的变换器架构能否有效处理异构人体关键点类别（如人类、动物）？
• RQ4 通过简单知识令牌，大 ViTPose 模型的知识在多大程度上可有效迁移到小模型？
• RQ5 ViTPose 中的注意力机制与特征表示如何适应遮挡或极端姿态情况？

主要发现

• ViTPose-G（10 亿参数）在 MS COCO 测试开发集上达到 80.9 AP 的新最先进准确率，且无需模型集成。
• ViTPose++ 在多个基准测试中均取得最先进性能，包括 MS COCO、AI Challenger、OCHuman、MPII、COCO-Wholebody、AP-10K 和 APT-36K，且未牺牲推理速度。
• 模型在严重遮挡图像中仍保持高性能，ViTPose++-B 能够基于可见身体部位准确推断被遮挡关键点的位置。
• 可视化结果表明，即使目标关键点被遮挡，ViTPose++ 仍能保持对关键点位置的一致注意力模式，表明其具备稳健的关系建模能力。
• 余弦相似性分析显示，深层中的任务特定 FFN 权重在不同任务间（如人类 vs. 动物）差异更明显，表明深层更具备任务特异性。
• 在滑雪等极端姿态场景下的失败案例，可通过扩大主干网络结构并使用扩展数据集进行训练得到缓解，证明了该方法的可扩展性。