[论文解读] Patch-based Texture Synthesis for Image Inpainting

Tao Zhou, Brian Alan Johnson+1 more|arXiv (Cornell University)|May 5, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 8

一句话总结

本文提出了一种基于图像块的纹理合成方法，用于图像修复，通过使用粗到细的优化框架结合几何约束和纹理描述符，提升了计算效率与结构一致性。该方法在速度和视觉质量方面优于以往的示例基修复方法，在包括物体移除和划痕修复在内的多种图像类型上实现了更快的推理速度与高保真度结果。

ABSTRACT

Image inpaiting is an important task in image processing and vision. In this paper, we develop a general method for patch-based image inpainting by synthesizing new textures from existing one. A novel framework is introduced to find several optimal candidate patches and generate a new texture patch in the process. We form it as an optimization problem that identifies the potential patches for synthesis from an coarse-to-fine manner. We use the texture descriptor as a clue in searching for matching patches from the known region. To ensure the structure faithful to the original image, a geometric constraint metric is formally defined that is applied directly to the patch synthesis procedure. We extensively conducted our experiments on a wide range of testing images on various scenarios and contents by arbitrarily specifying the target the regions for inference followed by using existing evaluation metrics to verify its texture coherency and structural consistency. Our results demonstrate the high accuracy and desirable output that can be potentially used for numerous applications: object removal, background subtraction, and image retrieval.

研究动机与目标

• 为解决现有示例基修复方法存在的计算成本高、大范围缺失区域出现模糊的问题。
• 通过利用基于图像块的合成与几何约束，提升图像修复中的纹理一致性与结构一致性。
• 通过引入逐步消除算法并采用分层搜索策略优化图像块选择，提升计算效率。
• 在包括物体移除和背景恢复在内的多种场景下，实现视觉上合理的修复结果。

提出的方法

• 该方法将图像块选择建模为一个粗到细求解的优化问题，从已知图像区域中识别出最优候选图像块。
• 采用纹理描述符来引导候选图像块与目标区域之间的匹配，确保纹理一致性。
• 正式定义并直接应用于图像块合成过程中的几何约束度量，以保持结构保真度。
• 采用逐步消除算法降低计算成本，同时保持高质量的图像块选择。
• 通过整合像素置信度值来确定填充优先级，提升视觉合理性。
• 在具有任意缺失区域的一系列测试图像上，使用标准指标对方法进行了评估。

实验结果

研究问题

• RQ1 如何优化基于图像块的纹理合成，以同时提升图像修复中的效率与结构一致性？
• RQ2 几何约束度量在图像块合成过程中对保持结构细节方面起到何种作用？
• RQ3 与贪婪搜索相比，采用逐步消除的粗到细优化策略是否能在示例基修复中实现更优性能？
• RQ4 纹理描述符的使用如何提升缺失区域中合成纹理的质量？
• RQ5 在计算速度与视觉保真度方面，该方法相较于现有算法的优越程度如何？

主要发现

• 在物体移除任务中，该方法将计算时间减少至110秒，而基线方法[1]需233秒，显著提升了速度。
• 在第二个物体移除任务中，该方法耗时22秒，而基线方法为43秒，进一步证实了效率的提升。
• 对于$400 \times 300$的图像，该方法耗时32秒，而基线方法为82秒，表现出一致的性能优势。
• 即使在具有重复图案的区域，该方法也能生成视觉一致、纹理高度连贯的结果，而以往方法难以实现全局能量最小化。
• 使用较大图像块（$9\times9$）时，能量泛函的最小化效果优于较小图像块（$5\times5$），表明优化性能更优。
• 结果表明，该方法在视觉质量与结构一致性方面表现优异，适用于物体移除、背景去除和图像检索等应用。