[论文解读] Robust pose tracking with a joint model of appearance and shape

Yuliang Guo, Lakshmi Narasimhan Govindarajan+2 more|arXiv (Cornell University)|Jun 28, 2018

Human Pose and Action Recognition参考文献 6被引用 3

一句话总结

本文提出了一种级联形状增强的灵活部件混合模型（scFMP），通过联合建模外观、空间部件关系和骨骼形状一致性，显著提升了小型实验动物的2D姿态追踪性能。通过在应用形状一致性优化前，利用标准FMP模型过滤虚假部件检测，该方法在遮挡条件下实现了显著更高的准确性，尤其在线虫和啮齿类动物数据集上，优于原始FMP模型和一个深度学习基线模型（CPM）。

ABSTRACT

We present a novel approach for estimating the 2D pose of an articulated object with an application to automated video analysis of small laboratory animals. We have found that deformable part models developed for humans, exemplified by the flexible mixture of parts (FMP) model, typically fail on challenging animal poses. We argue that beyond encoding appearance and spatial relations, shape is needed to overcome the lack of distinctive landmarks on laboratory animal bodies. In our approach, a shape consistent FMP (scFMP) model computes promising pose candidates after a standard FMP model is used to rapidly discard false part detections. This "cascaded" approach combines the relative strengths of spatial-relations, appearance and shape representations and is shown to yield significant improvements over the original FMP model as well as a representative deep neural network baseline.

研究动机与目标

• 解决现有姿态追踪方法在小型实验动物中，特别是在遮挡以及低对比度、不明显的体部特征情况下的局限性。
• 通过引入显式的形状约束，改进灵活部件混合模型（FMP），以增强在复杂姿态下的鲁棒性。
• 设计一种高效、级联的框架，结合快速基于外观的过滤与形状感知的精炼，以降低计算成本，同时提升准确性。
• 在真实世界的小线虫和啮齿类动物视频数据集上验证该方法，标准模型因自遮挡和缺乏显著标志点而失效。

提出的方法

• 首先应用标准FMP模型，利用外观和空间部件关系快速检测身体部件，并生成一组前M名的姿态候选。
• 随后，利用形状一致的FMP（scFMP）模型对前M名候选进行精炼，通过基于骨骼的形状先验强制实现几何合理性。
• 该形状模型编码相邻部件之间的“良好连续性”，偏好平滑、解剖学上合理的形变，而非锯齿状或不合理的构型。
• 级联设计通过仅将基于形状的搜索限制在初始FMP阶段产生的最有望的候选上，从而降低计算成本。
• 该方法采用条件随机场（CRF）框架，联合优化部件位置与形状一致性，部件检测器基于HOG模板。
• 作为对比，对同一数据集微调了一个深度学习基线模型（卷积姿态机，CPM），以在相似条件下评估性能。

实验结果

研究问题

• RQ1 显式的形状建模是否能提升在体部特征不明显且频繁自遮挡的小型实验动物中的姿态追踪鲁棒性？
• RQ2 结合快速基于外观的过滤与形状感知精炼的级联架构，是否在准确性与效率上优于端到端深度学习或标准FMP？
• RQ3 引入形状一致性对复杂姿态（如线虫的Ω形转弯或啮齿类动物的尾巴运动）下的性能有何影响？
• RQ4 在标注有限且遮挡严重的数据集中，该方法相较于强基线深度学习模型（CPM）的性能提升程度如何？

主要发现

• 在小线虫数据集中，scFMP模型在返回前80名姿态候选时，平均PCK达到0.83，显著优于CPM基线（0.59）和原始FMP模型（M=1时为0.56）。
• 在啮齿类动物数据集中，scFMP模型在帧级和序列级准确性上均持续优于原始FMP模型，表现出更强的遮挡鲁棒性，并能更准确地定位细长身体部位（如尾巴）。
• 定性结果表明，scFMP模型能成功恢复遮挡下的连续身体形变，而FMP模型常无法维持合理的构型。
• 级联设计在保持高准确性的同时缩小了搜索空间，使基于形状的精炼在计算上可行，尽管其复杂度有所增加。
• 在未引入形状约束的边缘强度和灰度值上训练CPM，仅获得0.50的平均PCK，表明形状信息对这些数据集的性能至关重要。