[论文解读] Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation

Jianqiang Wan, Yang Liu+3 more|arXiv (Cornell University)|May 30, 2020

Medical Image Segmentation Techniques参考文献 30被引用 4

一句话总结

该论文提出 Super-BPD，一种新颖的快速图像分割方法，利用从每个像素到其最近边界的方向向量（BPD）——即从最近边界指向像素本身的单位向量——来生成鲁棒且方向一致的超像素。通过在区域邻接图中利用相邻 Super-BPD 之间的方向相似性，该方法实现了高效、自粗到精的分割，实现了约 25 fps 的近实时推理速度，在 BSDS500 和 Pascal Context 数据集上的性能与 MCG 相当或更优。

ABSTRACT

Image segmentation is a fundamental vision task and a crucial step for many applications. In this paper, we propose a fast image segmentation method based on a novel super boundary-to-pixel direction (super-BPD) and a customized segmentation algorithm with super-BPD. Precisely, we define BPD on each pixel as a two-dimensional unit vector pointing from its nearest boundary to the pixel. In the BPD, nearby pixels from different regions have opposite directions departing from each other, and adjacent pixels in the same region have directions pointing to the other or each other (i.e., around medial points). We make use of such property to partition an image into super-BPDs, which are novel informative superpixels with robust direction similarity for fast grouping into segmentation regions. Extensive experimental results on BSDS500 and Pascal Context demonstrate the accuracy and efficency of the proposed super-BPD in segmenting images. In practice, the proposed super-BPD achieves comparable or superior performance with MCG while running at ~25fps vs. 0.07fps. Super-BPD also exhibits a noteworthy transferability to unseen scenes. The code is publicly available at https://github.com/JianqiangWan/Super-BPD.

研究动机与目标

• 为解决传统无监督图像分割方法在弱边界自然图像上的效率低下和精度不足问题。
• 克服当前最先进方法中轮廓到分割转换流程常见的高计算成本和误差传播问题。
• 开发一种类似超像素的结构，以编码像素与边界之间的方向关系，实现鲁棒且高效的分割。
• 实现快速、可迁移的分割方法，适用于目标建议生成等下游任务，且无需微调深度学习模型。
• 在具有弱边界的复杂场景下，实现分割精度与推理速度之间的良好权衡。

提出的方法

• 将边界到像素方向（BPD）定义为指向每个像素的二维单位向量，编码边界位置和相对区域归属信息。
• 通过将具有相似 BPD 的像素分组，将图像划分为 Super-BPD，形成紧凑且方向一致的区域，对弱边界具有鲁棒性。
• 构建区域邻接图（RAG），其中相邻 Super-BPD 之间的边根据其共享边界处的方向相似性加权。
• 在 RAG 上应用自粗到精的合并策略，利用方向相似性将 Super-BPD 合并为最终的分割区域。
• 使用可微分网络端到端预测 BPD 向量，损失函数结合 L2 损失与角度域损失，以提升方向准确性。
• 优化方向相似性计算沿边界的步数 s，发现 s=3 时性能最优。

实验结果

研究问题

• RQ1 边界到像素方向表示是否能为图像分割提供比传统超像素更鲁棒且高效的替代方案？
• RQ2 相邻 Super-BPD 之间的方向相似性是否能实现准确且高效的分割，尤其是在弱边界区域？
• RQ3 所提方法是否能在保持或超越 MCG 等最先进方法精度的同时实现近实时性能？
• RQ4 所学习的 BPD 表示在未见场景及目标建议生成等下游任务中的可迁移性如何？
• RQ5 哪些超参数（如步数 s、损失函数）对分割性能影响最大，原因是什么？

主要发现

• 在 PASCAL Context 数据集上，Super-BPD 的区域 F-measure 达到 0.472，优于 MCG（0.454）及其他基线方法。
• 在 PASCAL Context 上，该方法推理速度约为 25 fps，显著快于 MCG 的 0.07 fps，证明了其近实时推理能力。
• ASPP 模块在 PASCAL Context 上提升性能 0.018，在 BSDS500 上提升 0.012，证实其在捕捉大尺度区域结构方面的价值。
• 结合 L2 损失与角度域损失的组合取得最佳性能（PASCAL Context 上 F_op 为 0.472），优于单独使用任一损失函数。
• 在方向相似性计算中，最优步数 s=3，因其在方向一致性和局部变化之间实现了最佳平衡。
• 在目标建议生成任务中，Super-BPD 在 PASCAL VOC2007 上将检测召回率相比 M-BING（使用 DEL）提升近一倍，且在 500 个建议下表现更优。