[论文解读] Oriented Boxes for Accurate Instance Segmentation

Patrick Follmann, Rebecca König|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 27被引用 8

一句话总结

该论文提出使用定向边界框（OBBs）替代轴对齐边界框（AABBs）的定向实例分割（OIS），以提升分割掩码的准确性，尤其适用于倾斜对齐、相互接触或重叠的物体。通过将池化区域与物体方向对齐，OIS减少了背景干扰，提升了掩码的一致性，并在D2S和Screws数据集上将mAP提升了10–12%，同时仅需Pill Bags数据集10%的掩码标注，即可超越轴对齐基线模型。

ABSTRACT

State-of-the-art instance-aware semantic segmentation algorithms use axis-aligned bounding boxes as an intermediate processing step to infer the final instance mask output. This often leads to coarse and inaccurate mask proposals due to the following reasons: Axis-aligned boxes have a high background to foreground pixel-ratio, there is a strong variation of mask targets with respect to the underlying box, and neighboring instances frequently reach into the axis-aligned bounding box of the instance mask of interest. In this work, we overcome these problems by proposing to use oriented boxes as the basis to infer instance masks. We show that oriented instance segmentation improves the mask predictions, especially when objects are diagonally aligned, touching, or overlapping each other. We evaluate our model on the D2S and Screws datasets and show that we can significantly improve the mask accuracy by 10% and 12% mAP compared to instance segmentation using axis-aligned bounding boxes, respectively. On the newly introduced Pill Bags dataset we outperform the baseline using only 10% of the mask annotations.

研究动机与目标

• 解决轴对齐边界框（AABBs）在实例分割中导致的背景与前景比例过高及掩码预测不准确的问题。
• 通过使用定向边界框（OBBs）作为掩码预测的基础，提升倾斜、拉长或重叠物体的掩码准确性。
• 通过证明OIS仅需10%的掩码标注即可实现更优性能，减少对昂贵像素级掩码标注的需求。
• 通过利用预测的掩码改进定向框预测，从而同时提升掩码和框的mAP。

提出的方法

• 将轴对齐框提议替换为定向框检测作为掩码头的输入，使用旋转不变池化层以与物体方向对齐。
• 通过修改RoI池化层以处理具有旋转和宽高比的定向框，适配现有实例分割架构（如Mask R-CNN、RetinaMask）。
• 使用可微分的可微分旋转头预测每个实例的方向，实现OIS的端到端训练。
• 在定向框上应用非极大值抑制（NMS），以过滤重叠提议，减少误报。
• 通过将未标注实例的掩码损失权重设为零，实现稀疏掩码监督，支持部分监督训练。
• 通过从掩码重新估计方向，利用预测的掩码来优化定向框预测，从而提升框mAP。

实验结果

研究问题

• RQ1 与轴对齐框相比，定向边界框是否能显著提升实例分割的掩码准确率，特别是在倾斜对齐或重叠物体上？
• RQ2 定向实例分割在多大程度上能减少对昂贵像素级掩码标注的需求？
• RQ3 OIS预测的实例掩码能否用于优化定向框检测？若能，可使框mAP提升多少？
• RQ4 OIS在具有高物体相似性且形变有限的真实工业数据集上的表现如何？

主要发现

• 在D2S数据集上，使用Mask R-CNN时，OIS将掩码mAP从45%提升至55%，使用RetinaMask时从46%提升至55%，相对提升10%。
• 在Screws数据集上，OIS将掩码mAP从41.5%提升至53.4%，相对提升12%，且掩码预测的一致性显著提高。
• 在Pill Bags数据集上，OIS仅使用10%的掩码标注即可达到与基线相当的mAP，且即使基线使用100%标注，其性能仍被超越。
• OIS预测的掩码可用于优化定向框检测，在Screws数据集上通过掩码导出的方向信息，使框mAP提升1.5%。
• 通过将池化区域与物体方向对齐，OIS减少了背景干扰和掩码差异，从而产生更一致、更准确的掩码目标。
• 定性结果表明，与轴对齐基线相比，OIS生成的掩码更清晰、更准确，尤其在拉长和倾斜对齐的物体上表现更优。