[论文解读] Robust Image Segmentation in Low Depth Of Field Images

Franz Graf, Hans‐Peter Kriegel+1 more|arXiv (Cornell University)|Feb 15, 2013

Image Processing Techniques and Applications参考文献 2被引用 35

一句话总结

本文提出了一种稳健、无需参数的算法，用于通过形态学滤波和基于梯度的聚焦估计，全自动分割低景深（DOF）图像中的感兴趣目标（OOI）。该方法在多样化的真实世界图像中展现出优于三种现有方法的鲁棒性，即使在景深较大且背景纹理复杂的情况下也能保持优异性能，证明了其在基于内容的图像检索（CBIR）应用中的强大表现。

ABSTRACT

In photography, low depth of field (DOF) is an important technique to emphasize the object of interest (OOI) within an image. Thus, low DOF images are widely used in the application area of macro, portrait or sports photography. When viewing a low DOF image, the viewer implicitly concentrates on the regions that are sharper regions of the image and thus segments the image into regions of interest and non regions of interest which has a major impact on the perception of the image. Thus, a robust algorithm for the fully automatic detection of the OOI in low DOF images provides valuable information for subsequent image processing and image retrieval. In this paper we propose a robust and parameterless algorithm for the fully automatic segmentation of low DOF images. We compare our method with three similar methods and show the superior robustness even though our algorithm does not require any parameters to be set by hand. The experiments are conducted on a real world data set with high and low DOF images.

研究动机与目标

• 开发一种完全自动、无需参数的低景深（DOF）图像分割算法，无需手动调参或对图像特征的先验知识。
• 解决在低景深图像中分割感兴趣目标（OOI）的挑战，其中清晰区域与模糊区域之间的过渡渐变，缺乏清晰边缘。
• 在复杂场景下提升鲁棒性，如纹理背景、高ISO噪声以及空间上分离的OOI，这些因素对现有方法构成挑战。
• 评估基于景深的分割对基于内容的图像检索（CBIR）的影响，通过利用人类对聚焦的隐式感知来提升相似性搜索性能。
• 实现跨图像领域、尺寸和色彩深度的广泛应用，包括灰度、彩色和棕褐色调图像。

提出的方法

• 该方法利用梯度幅值图估计局部聚焦水平，将高清晰度区域识别为潜在的OOI。
• 通过自适应结构元素应用形态学滤波，以增强并连接清晰区域，同时抑制噪声和孤立像素。
• 采用区域合并策略，基于空间邻近性和聚焦相似性将相邻的高聚焦区域合并为连贯的OOI。
• 该算法完全自动且无需参数，仅依赖图像内容，无需输入相机设置、图像领域或分辨率信息。
• 聚焦估计基于局部梯度方差，该指标与清晰度相关，且对模糊区域中的纹理变化具有鲁棒性。
• 该方法实现为ImageJ插件，并使用包含真实世界图像中真实标注ROI的数据集进行评估和对比。

实验结果

研究问题

• RQ1 是否能够通过完全自动、无需参数的分割算法，在低景深图像中对感兴趣目标的分割鲁棒性方面优于现有方法？
• RQ2 当景深较大，导致背景纹理显著且OOI发生模糊时，该算法表现如何？
• RQ3 基于景深的分割在多大程度上通过与人类对聚焦的感知保持一致，从而提升基于内容的图像检索（CBIR）性能？
• RQ4 该方法在高ISO噪声、纹理背景或多个空间上分离的感兴趣目标等挑战性条件下表现如何？
• RQ5 该算法是否能跨多种图像类型（包括彩色、灰度和棕褐色调图像）实现泛化，而无需进行领域特定的调参？

主要发现

• 所提出的算法在所有测试的真实世界低景深图像中，相较于三种参考方法（包括[7]、[11]和[12]）表现出更优的鲁棒性。
• 即使在景深较大的情况下，该算法仍能保持高分割精度，尽管背景纹理显著，仍能保留有意义的结果。
• 该方法在高ISO噪声图像和空间上分离的OOI图像中表现良好，而先前的方法在此类情况下失效或产生碎片化结果。
• 该算法对基于内容的图像检索（CBIR）具有积极影响，通过与人类对聚焦的感知保持一致，提升了相似性检测性能。
• 该方法完全自动且无需参数，无需手动调参或对图像特征（如分辨率、色彩深度或相机设置）的先验知识。
• 已公开提供Java WebStart演示和ImageJ插件，测试数据及参考掩码将在获得许可后发布。