[论文解读] Parsing Occluded People by Flexible Compositions

Xianjie Chen, Alan Yuille|arXiv (Cornell University)|Dec 4, 2014

Human Pose and Action Recognition参考文献 34被引用 4

一句话总结

本文提出一种灵活的组合图模型，通过将可见身体部位建模为连通子树（称为灵活组合），在严重遮挡情况下提升人体分割性能，同时从局部图像特征和证据缺失中学习遮挡线索。该方法通过部件共享实现高效推理，在We Are Family数据集上实现11.3%更高的平均PCP和4.9%更高的AOP，优于当前最先进方法。

ABSTRACT

This paper presents an approach to parsing humans when there is significant occlusion. We model humans using a graphical model which has a tree structure building on recent work [32, 6] and exploit the connectivity prior that, even in presence of occlusion, the visible nodes form a connected subtree of the graphical model. We call each connected subtree a flexible composition of object parts. This involves a novel method for learning occlusion cues. During inference we need to search over a mixture of different flexible models. By exploiting part sharing, we show that this inference can be done extremely efficiently requiring only twice as many computations as searching for the entire object (i.e., not modeling occlusion). We evaluate our model on the standard benchmarked "We Are Family" Stickmen dataset and obtain significant performance improvements over the best alternative algorithms.

研究动机与目标

• 解决在真实场景中身体部位显著被遮挡时准确进行人体分割的挑战。
• 克服现有模型将遮挡视为简单缺失部件惩罚的局限性，这些模型在严重截断或部分可见情况下表现不佳。
• 开发一种结构化模型，通过连通子树（灵活组合）的混合形式显式表示不同程度的遮挡。
• 通过在不同灵活组合间复用部件，提升推理效率，实现在组合数量呈组合爆炸增长的情况下仍保持近线性扩展。
• 通过结合连通性先验和学习到的遮挡线索，在基准数据集上实现显著的性能提升。

提出的方法

• 将人体建模为树状结构的图模型，其中节点表示身体部位，边表示空间关系。
• 引入“灵活组合”概念——即完整图模型的连通子树——以表示遮挡条件下可能的可见配置。
• 利用潜在遮挡边界周围的局部测量（IDOD项）从图像数据中学习遮挡线索，通过边抑制编码遮挡证据。
• 结合两种遮挡信号：(1) 缺乏预期身体部位的证据（例如，肘部附近无手腕）；(2) 关节区域附近的局部图像特征（如T型接头、纹理不连续性）。
• 通过复用重叠灵活组合之间的计算，实现高效推理，将成本降低至单个完整模型推理的两倍。
• 使用标注数据端到端训练模型，通过判别式学习联合优化部件配置与遮挡状态。

实验结果

研究问题

• RQ1 在遮挡场景中，可见身体部位在多大程度上形成连通子树，从而验证连通性先验的合理性？
• RQ2 将遮挡建模为灵活组合的混合形式，相比固定部件模型，能在多大程度上提升分割精度？
• RQ3 学习到的遮挡线索（IDOD项）与证据缺失信号在提升对遮挡的鲁棒性方面各贡献多少？
• RQ4 能否在不产生禁止性计算成本的前提下，对大量灵活组合实现高效推理？
• RQ5 在We Are Family基准上，该模型在PCP和AOP指标上与最先进方法相比表现如何？

主要发现

• WAF数据集中95.1%的人体实例，其可见部分形成连通子树，验证了模型所采用连通性先验的有效性。
• 与不显式建模遮挡的基线模型[6]相比，灵活组合模型（FC）将平均PCP提升11.6%，AOP提升8.1%。
• 加入IDOD遮挡线索（FC + IDOD）后，平均PCP达到80.7%，AOP达到84.9%，显著优于最佳先前方法[11]，分别在平均PCP上提升11.3%，在AOP上提升4.9%。
• 完整模型在WAF数据集上实现最先进性能，所有身体部位均取得增益，尤其在上肢和下肢（遮挡最常见区域）表现突出。
• 诊断性消融实验确认，灵活组合与IDOD线索均不可或缺：任一移除均导致性能显著下降。
• 对所有灵活组合进行推理的计算成本仅为标准完整模型推理的两倍，支持高效训练与部署。