[论文解读] Pose2Seg: Detection Free Human Instance Segmentation

Song–Hai Zhang, Ruilong Li+7 more|arXiv (Cornell University)|Mar 28, 2018

Advanced Neural Network Applications参考文献 52被引用 13

一句话总结

本文提出Pose2Seg，一种无需目标检测的人类实例分割框架，该框架使用人体姿态骨架代替边界框进行实例分离。通过引入仿射对齐（Affine-Align）模块并显式融合骨架特征到分割头，该方法在遮挡实例上的表现尤为出色，在OCHuman和COCOPerson基准上均优于基于检测的方法（如Mask R-CNN）。

ABSTRACT

The standard approach to image instance segmentation is to perform the object detection first, and then segment the object from the detection bounding-box. More recently, deep learning methods like Mask R-CNN perform them jointly. However, little research takes into account the uniqueness of the "human" category, which can be well defined by the pose skeleton. Moreover, the human pose skeleton can be used to better distinguish instances with heavy occlusion than using bounding-boxes. In this paper, we present a brand new pose-based instance segmentation framework for humans which separates instances based on human pose, rather than proposal region detection. We demonstrate that our pose-based framework can achieve better accuracy than the state-of-art detection-based approach on the human instance segmentation problem, and can moreover better handle occlusion. Furthermore, there are few public datasets containing many heavily occluded humans along with comprehensive annotations, which makes this a challenging problem seldom noticed by researchers. Therefore, in this paper we introduce a new benchmark "Occluded Human (OCHuman)", which focuses on occluded humans with comprehensive annotations including bounding-box, human pose and instance masks. This dataset contains 8110 detailed annotated human instances within 4731 images. With an average 0.67 MaxIoU for each person, OCHuman is the most complex and challenging dataset related to human instance segmentation. Through this dataset, we want to emphasize occlusion as a challenging problem for researchers to study.

研究动机与目标

• 解决基于检测的实例分割方法在处理严重遮挡人类实例时的局限性。
• 利用人体姿态骨架作为比边界框更具判别性的线索，实现更优的实例分离。
• 提出一种新型对齐机制（Affine-Align），使用姿态关键点而非边界框来裁剪和归一化RoI。
• 引入一个新的基准数据集OCHuman，包含对严重遮挡人类实例的全面标注，以强调遮挡作为关键挑战。
• 证明显式融合骨架特征可提升遮挡情况下的分割精度与鲁棒性。

提出的方法

• 提出Affine-Align，一种可微变换，通过缩放、平移、旋转及左右翻转参数，基于人体姿态关键点对特征图进行对齐。
• 设计基于姿态的RoI选择策略，从关键点坐标生成RoI，避免依赖检测建议。
• 通过编码关键点位置与可见性信息生成人工骨架特征（2D热力图），并在Affine-Align后与特征图拼接。
• 使用感受野约为50像素的SegModule（通过10个残差单元实现），以捕捉全局上下文信息，提升分割精度。
• 在消融实验中，使用真实边界框与关键点进行网络训练，并在不同对齐方式与特征融合策略下评估性能。
• 端到端优化框架，采用交叉熵损失与Dice损失进行实例分割训练，并在OCHuman与COCOPerson数据集上进行评估。

实验结果

研究问题

• RQ1 基于姿态的实例分割框架是否能在处理遮挡人类实例方面超越基于检测的方法？
• RQ2 以人体姿态骨架为基础进行RoI选择，是否相比基于边界框的方法能提升实例分离的准确性？
• RQ3 与标准RoI-Align相比，所提出的Affine-Align模块在处理复杂人体姿态与遮挡时的效能如何？
• RQ4 显式融合的骨架特征在重叠或遮挡情况下对分割性能的提升程度有多大？
• RQ5 一个聚焦于遮挡人类的新基准数据集是否能更好地捕捉真实世界中人类实例分割的挑战？

主要发现

• 在使用真实边界框与关键点的情况下，Pose2Seg在COCOPerson上达到0.582 AP，优于基于检测的RoI-Align基线方法（0.568 AP）。
• 在OCHuman验证集上，采用骨架特征融合的Affine-Align策略达到0.544 AP，显著优于最佳基于框的方法（0.497 AP）。
• 消融实验表明，结合Affine-Align与骨架特征可获得最高性能，表明姿态特征在实例判别中具有关键作用。
• 由于仿射变换可将姿态归一化为标准配置，该方法对姿态变化（包括倒置或异常姿态）具有鲁棒性。
• OCHuman数据集包含4731张图像中的8110个人类实例，平均MaxIoU为0.67，是目前最具有挑战性的遮挡人类实例分割基准。
• 该框架的性能仅受限于姿态估计精度，而非NMS约束，而后者是基于检测方法的关键限制。