[论文解读] Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation

Fangyun Wei, Xiao Sun+3 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 48被引用 15

一句话总结

本文提出 Point-Set Anchors，一种通用框架，用任务特定的点集替代传统的锚框，以提升目标检测、实例分割和人体姿态估计中的关键点回归性能。通过在具有信息量且与几何相关的位点（如姿态模式或边界框边缘）采样点，并将其作为特征提取中心，该方法实现了最先进性能，在 COCO 姿态估计任务上比 CenterNet 提升 5.7 AP。

ABSTRACT

A recent approach for object detection and human pose estimation is to regress bounding boxes or human keypoints from a central point on the object or person. While this center-point regression is simple and efficient, we argue that the image features extracted at a central point contain limited information for predicting distant keypoints or bounding box boundaries, due to object deformation and scale/orientation variation. To facilitate inference, we propose to instead perform regression from a set of points placed at more advantageous positions. This point set is arranged to reflect a good initialization for the given task, such as modes in the training data for pose estimation, which lie closer to the ground truth than the central point and provide more informative features for regression. As the utility of a point set depends on how well its scale, aspect ratio and rotation matches the target, we adopt the anchor box technique of sampling these transformations to generate additional point-set candidates. We apply this proposed framework, called Point-Set Anchors, to object detection, instance segmentation, and human pose estimation. Our results show that this general-purpose approach can achieve performance competitive with state-of-the-art methods for each of these tasks. Code is available at \url{https://github.com/FangyunWei/PointSetAnchor}

研究动机与目标

• 为解决目标检测和姿态估计中中心点回归的局限性，即由于尺度、方向和形变变化，中心点特征对远距离关键点的信息不足。
• 通过用一组有策略地放置的点替代单中心点，提升关键点回归的特征代表性，从而更好地初始化回归过程。
• 通过引入在不同尺度、宽高比和方向上采样的点集锚框，推广锚框概念，以匹配多样的物体形状和姿态。
• 设计统一框架 PointSetNet，用点集锚框替代 RetinaNet 中的锚框，并增加一个并行回归头，用于在多个任务中预测关键点偏移。
• 通过单一可适配的架构，在目标检测、实例分割和人体姿态估计任务中均实现具有竞争力的性能。

提出的方法

• 提出 Point-Set Anchors 作为锚框的泛化形式，其中每个锚框是一组位于任务特定、几何有利位置（如姿态模式或边界框边缘）的点。
• 采用多尺度、多方向的采样策略（受锚框启发），生成匹配潜在目标尺度、宽高比和旋转角度的多样化点集候选。
• 设计 PointSetNet 作为修改版的 RetinaNet：用点集锚框替代锚框，并增加一个并行回归头以预测关键点偏移。
• 在实例分割中，沿隐式边界框的边缘均匀采样点，以表示掩码边界。
• 在姿态估计中，基于训练数据中频繁出现的姿态配置初始化点集，以提升特征质量和回归精度。
• 应用多阶段优化：在后续阶段使用更高的 OKS 阈值，以在更精确的提议上细化预测，提升定位精度。

实验结果

研究问题

• RQ1 用任务特定的点集替代中心点回归，能否提升目标检测和姿态估计中的关键点定位性能？
• RQ2 点集配置的选择（如姿态模式、边界点）如何影响特征质量和回归性能？
• RQ3 点集锚框在多任务（如目标检测、实例分割和人体姿态估计）中具有多大程度的泛化能力？
• RQ4 使用逐步收紧的正样本阈值进行多阶段优化，能否提升关键点回归任务的性能？
• RQ5 主干网络和多尺度测试对 PointSetNet 框架性能的影响如何？

主要发现

• Point-Set Anchors 显著提升关键点回归性能：使用 9 个关键点作为特征时，达到 46.0 AP，相比使用相同数量点的中心点特征提升 3.2 AP（相对提升 7.5%）。
• 多阶段优化使性能提升 9.7 AP（相对提升 20.1%），第二阶段达到 58.0 AP，而第一阶段为 48.3 AP。
• 使用更强的主干网络（HRNet-W48）并结合多尺度测试，AP 从 62.5 提升至 69.8，提升 7.3 AP，证明了该框架的可扩展性。
• PointSetNet 在 MS COCO test-dev2017 上达到 68.7 AP，领先 CenterNet 的 63.0 AP，提升 5.7 AP，展现出与最先进方法相当的竞争力。
• 该方法在三个任务——目标检测、实例分割和姿态估计——中均实现了最先进性能，且仅使用单一统一架构。
• 消融实验确认，形状索引特征的主要优势在于提升姿态回归性能，而非分类性能，因为改进在回归头中最为显著。