[论文解读] Vector Nonlocal Euclidean Median: Principal Bundle Captures The Nature of Patch Space

Chen-Yun Lin, Arin Minasian+2 more|arXiv (Cornell University)|Nov 15, 2016

Image and Signal Denoising Methods参考文献 38被引用 3

一句话总结

本文提出了一种新型图像去噪算法——向量非局部欧几里得中值（VNLEM），通过使用纤维丛结构对图像块空间进行建模，利用SO(2)群作用捕捉旋转不变性。通过结合SIFT提取的定向特征，并利用黎曼内积距离（RID），VNLEM在传统NLEM的基础上提升了鲁棒性与去噪性能，在1,361张图像数据库上的误差评估与基于人类视觉系统的图像质量评估中均取得了更优结果。

ABSTRACT

We extensively study the rotational group structure inside the patch space by introducing the fiber bundle structure. The rotational group structure leads to a new image denoising algorithm called the extit{vector non-local Euclidean median} (VNLEM). The theoretical aspect of VNLEM is studied, which explains why the VNLEM and traditional non-local mean/non-local Euclidean median (NLEM) algorithm work. The numerical issue of the VNLEM is improved by taking the orientation feature in the commonly applied scale-invariant feature transform (SIFT), and a theoretical analysis of the robustness of the orientation feature in the SIFT is provided. The VNLEM is applied to an image database of 1,361 images and compared with the NLEM. Different image quality assessments based on the error-sensitivity or the human visual system are applied to evaluate the performance. The results confirmed the potential of the VNLEM algorithm.

研究动机与目标

• 解决非局部滤波在噪声图像块空间中为何有效的理论解释缺失问题。
• 利用纤维丛几何对图像块空间中的旋转群结构进行建模，以SO(2)作为纤维，基流形表示旋转不变的图像块。
• 开发一种鲁棒且具备几何感知能力的去噪算法，通过引入旋转不变性与定向特征，改进NLEM的性能。
• 采用多种图像质量度量方法评估VNLEM，包括基于误差的（SNR）与基于人类感知的（FSIM）评估。
• 在大规模图像数据库上展示该算法的优越性，并讨论其在彩色图像、多图像去噪与纹理分析方面的泛化潜力。

提出的方法

• 将图像块空间建模为纤维丛，其中每根纤维对应SO(2)旋转群，基流形表示旋转不变的图像块。
• 在纤维丛上定义黎曼内积距离（RID），用于度量图像块间的相似性，同时考虑旋转不变性。
• 将SIFT提取的定向特征整合进VNLEM算法中，以增强邻居选择过程中的数值稳定性和鲁棒性。
• 将NLEM中的均值运算替换为基于RID定义的邻域内图像块的向量中值运算，实现对异常值的鲁棒性。
• 基于RID设计加权平均方案，计算去噪后的像素值，以保留边缘与精细结构。
• 在包含1,361张图像的数据库上应用该算法，并通过SNR、PSNR与FSIM等指标进行性能对比。

实验结果

研究问题

• RQ1 为何像NLM与NLEM这样的非局部滤波方法在噪声图像块空间中能有效工作？其背后支撑的几何结构是什么？
• RQ2 如何数学化地建模图像块中的旋转不变性，以提升去噪性能？
• RQ3 将SIFT提取的定向特征引入非局部去噪算法，是否能增强其鲁棒性与数值效率？
• RQ4 在不同图像质量评估指标下，VNLEM与NLEM相比在去噪质量上表现如何？
• RQ5 现有基于流形的图像块空间模型存在哪些局限性？纤维丛结构如何对其进行推广？

主要发现

• VNLEM在图像去噪质量上显著优于NLEM，尤其在边缘与精细纹理的保留方面表现更优，该结论得到基于误差与感知的双重指标验证。
• SIFT定向特征的使用提升了VNLEM在邻居选择过程中的数值稳定性与鲁棒性，降低了对图像块相似性计算中噪声的敏感度。
• 以SO(2)为纤维的纤维丛模型提供了一种几何上合理的旋转不变性捕捉方式，解释了非局部方法在图像块空间中成功的原因。
• FSIM评估显示，尽管算法未显式使用FSIM特征，VNLEM的输出结果在人类视觉感知上更接近真实图像，优于NLEM。
• 对1,361张图像的统计分析证实，VNLEM在性能上相对于NLEM的提升在不同图像类型中均显著且一致。
• 所提方法在扩展至彩色图像与多图像去噪方面展现出强大潜力，表明其在灰度图像之外也具有广泛适用性。