[论文解读] SEEDS: Superpixels Extracted via Energy-Driven Sampling

Michael Van den Bergh, Xavier Boix+2 more|arXiv (Cornell University)|Sep 16, 2013

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

SEEDS 提出了一种实时超像素算法，通过使用快速、基于能量的爬山法迭代优化边界，对初始基于网格的划分进行细化。通过以块为单位更新边界，高效评估颜色同质性和边界平滑性的能量函数，SEEDS 在单个 CPU 上实现了 30Hz 的实时性能，准确率处于最先进水平，相比以往方法在速度上更具优势，同时保持了具有竞争力的分割质量。

ABSTRACT

Superpixel algorithms aim to over-segment the image by grouping pixels that belong to the same object. Many state-of-the-art superpixel algorithms rely on minimizing objective functions to enforce color ho- mogeneity. The optimization is accomplished by sophis- ticated methods that progressively build the superpix- els, typically by adding cuts or growing superpixels. As a result, they are computationally too expensive for real-time applications. We introduce a new approach based on a simple hill-climbing optimization. Starting from an initial superpixel partitioning, it continuously refines the superpixels by modifying the boundaries. We define a robust and fast to evaluate energy function, based on enforcing color similarity between the bound- aries and the superpixel color histogram. In a series of experiments, we show that we achieve an excellent com- promise between accuracy and efficiency. We are able to achieve a performance comparable to the state-of- the-art, but in real-time on a single Intel i7 CPU at 2.8GHz.

研究动机与目标

• 开发一种在标准硬件上实现高精度与实时性能的超像素算法。
• 克服现有超像素方法在计算上的局限性，这些方法依赖于复杂的基于图的或增量增长的优化。
• 提出一种新颖的基于精炼的方法，从初始划分开始，通过像素交换迭代改进边界。
• 设计一种能量函数，以实现快速评估和高效优化，适用于实时应用。
• 证明简单的爬山策略结合分层块更新可达到或超越更复杂最先进的方法的性能。

提出的方法

• 该方法将超像素初始化为均匀网格，并通过在相邻超像素之间交换像素，迭代地细化边界。
• 采用爬山优化策略，仅当复合能量函数（结合颜色同质性和边界平滑性）提升时才接受边界更改。
• 能量函数通过超像素及其边界的颜色直方图相似性定义，并包含一个偏好平滑、规则边界的项。
• 边界更新以分层方式进行，从大块开始，逐步细化到像素级别，实现每像素移动仅需一次内存查找的快速评估。
• 该方法使用基于块的邻域结构，高效计算像素交换对能量函数的影响，从而降低计算开销。
• 通过聚焦于初始网格划分的局部、渐进式改进，避免了昂贵的图划分或迭代聚类。

实验结果

研究问题

• RQ1 在预定义的网格划分上，简单的爬山优化能否实现与最先进方法相当的超像素质量？
• RQ2 是否可以设计一种能量函数，实现在不牺牲准确率的前提下，实现快速的局部更新和实时性能？
• RQ3 与像素级更新相比，分层块式边界精炼在速度和收敛性方面表现如何？
• RQ4 所提出的方法能否在单个 CPU 上实现 30Hz 的实时性能，而无需 GPU 加速？
• RQ5 边界平滑性项是否能在保持计算效率的同时提升分割质量？

主要发现

• SEEDS 在单个 Intel i7 CPU（2.8GHz）上实现了 30Hz 的实时性能，无需 GPU 或专用硬件。
• 该算法在准确率上与最先进的非实时超像素方法（如基于归一化割或图划分的方法）相当。
• 能量函数仅需每次像素移动一次内存查找即可实现快速评估，显著降低了计算成本。
• 分层块更新通过先探索大尺度变化，再在像素级别进行微调，使算法能够快速收敛。
• 在 Berkeley Segmentation Dataset 上，该方法在速度和边界准确率方面均优于现有的实时超像素算法。
• 所提出的能量函数有效平衡了颜色同质性与边界平滑性，生成了视觉上连贯且语义合理的超像素。