[论文解读] Saliency-guided Adaptive Seeding for Supervoxel Segmentation

Ge Gao, Mikko Lauri+2 more|arXiv (Cornell University)|Apr 13, 2017

Visual Attention and Saliency Detection参考文献 24被引用 3

一句话总结

本文提出了一种新颖的显著性引导超体素分割方法（Saliency-guided Supervoxel Segmentation, SSV），利用视觉显著性自适应控制3D超体素生成中的种子密度，使显著物体区域产生更小、更精确的超体素，而背景区域则生成更大的超体素。在NYU2和SUNRGBD数据集上的评估表明，与VCCS等均匀种子方法相比，SSV在边界召回率方面显著提升，且欠分割误差更低，同时保持了相近的处理时间。

ABSTRACT

We propose a new saliency-guided method for generating supervoxels in 3D space. Rather than using an evenly distributed spatial seeding procedure, our method uses visual saliency to guide the process of supervoxel generation. This results in densely distributed, small, and precise supervoxels in salient regions which often contain objects, and larger supervoxels in less salient regions that often correspond to background. Our approach largely improves the quality of the resulting supervoxel segmentation in terms of boundary recall and under-segmentation error on publicly available benchmarks.

研究动机与目标

• 为解决超体素生成中均匀种子策略的局限性，该策略在复杂场景中常无法保持物体边界。
• 通过将视觉显著性作为先验，实现自适应超体素密度，从而提升分割质量。
• 在不显著增加计算成本的前提下，降低欠分割误差并提高边界召回率。
• 通过提升输入表示质量，使下游机器人视觉任务（如物体发现与操作）更加准确。
• 证明显著性是物体存在的强指示信号，可有效引导高效、区域感知的超体素生成。

提出的方法

• 从RGB-D数据中计算显著性图，识别可能包含物体的视觉显著区域。
• 使用k-means将输入点云聚类为基于显著性的区域，每个聚类根据其显著性水平分配相应的种子分辨率。
• 在高显著性区域增加种子密度，在低显著性区域减少种子密度，从而在物体上生成更精细的超体素，在背景上生成更粗糙的超体素。
• 对每个基于显著性的聚类使用自适应种子分辨率，应用体素云连通性分割（Voxel Cloud Connectivity Segmentation, VCCS）生成超体素。
• 采用参数化显著性阈值化与聚类策略，控制超体素数量及其空间分布。
• 通过复用VCCS框架并结合显著性驱动的种子适应机制，保持了实时处理可行性。

实验结果

研究问题

• RQ1 视觉显著性能否有效用作先验，指导3D RGB-D数据中自适应超体素种子生成？
• RQ2 基于显著性的自适应种子是否相比均匀种子能提升边界召回率并降低欠分割误差？
• RQ3 所提方法是否能在提升分割质量的同时保持实时性能？
• RQ4 SSV在标准RGB-D基准测试中与SOTA方法（如VCCS）相比表现如何？
• RQ5 显著性驱动的种子生成在多大程度上提升了超体素分割中的物体边界保持能力？

主要发现

• 在NYU2数据集上，SSV实现了0.94 ± 0.004的边界召回率和0.04 ± 0.002的欠分割误差，在相同平均超体素数量下优于VCCS。
• 在SUNRGBD数据集上，SSV实现了0.93 ± 0.004的边界召回率和0.05 ± 0.003的欠分割误差，表现出对VCCS的一致性改进。
• 当K=5个聚类时，SSV每幅图像的平均处理时间为2.2秒，仅比VCCS的0.5秒略高，表明其具有良好的计算效率。
• 该方法在显著物体（如水龙头、把手）上生成更密集的超体素，在均匀背景（如墙壁）上生成更稀疏的超体素，展示了有效的空间自适应能力。
• SSV在保持可控超体素数量的同时，提升了解释方差和边界贴合度，证实了其在保持物体结构方面的有效性。
• 定性结果表明，SSV比VCCS更好地捕捉了小而细节丰富的物体部分，而VCCS倾向于将这些部分合并为更大且不准确的超体素。