[论文解读] Program-Guided Image Manipulators

Jiayuan Mao, Xiuming Zhang+4 more|arXiv (Cornell University)|Sep 4, 2019

Cell Image Analysis Techniques参考文献 5被引用 4

一句话总结

本文提出程序引导的图像操作器（PG-IM），一种神经符号框架，可检测单幅图像中的重复模式，推断描述空间与属性规律性的符号程序，并利用这些程序引导神经网络图像生成，以实现图像修复、外推和规律性编辑等任务。PG-IM通过利用图像内部统计特性，无需外部训练数据，实现了卓越的性能。

ABSTRACT

Humans are capable of building holistic representations for images at various levels, from local objects, to pairwise relations, to global structures. The interpretation of structures involves reasoning over repetition and symmetry of the objects in the image. In this paper, we present the Program-Guided Image Manipulator (PG-IM), inducing neuro-symbolic program-like representations to represent and manipulate images. Given an image, PG-IM detects repeated patterns, induces symbolic programs, and manipulates the image using a neural network that is guided by the program. PG-IM learns from a single image, exploiting its internal statistics. Despite trained only on image inpainting, PG-IM is directly capable of extrapolation and regularity editing in a unified framework. Extensive experiments show that PG-IM achieves superior performance on all the tasks.

研究动机与目标

• 为图像中的结构规律性（尤其是重复模式）提供一种整体性、符号化的表示方法。
• 通过类似程序的表示方式，构建统一框架，实现图像操作任务（如图像修复、外推和规律性编辑）。
• 克服深度学习模型隐式学习物体结构的局限性，尤其在分布外或复杂规律性情况下表现不佳的问题。
• 开发一种仅依赖单张图像内部统计特性的方法，推理过程中无需大规模外部训练数据。

提出的方法

• 一个神经模块在单张输入图像中检测重复模式和物体中心点。
• 一个符号程序生成器使用领域特定语言（DSL）推断空间规律性（如晶格结构）和属性规律性（如颜色、形状聚类）。
• 推断出的程序引导神经先验网络（NPN）生成尊重全局结构与局部外观的图像块。
• 通过放宽条件以预测晶格中新的有效位置，实现外推。
• 通过对象特征的聚类建模属性规律性，确保生成的图像块匹配正确的属性组。
• 该框架采用内部学习机制——在操作过程中无需外部训练数据，仅依赖输入图像的内部统计特性。

实验结果

研究问题

• RQ1 神经符号系统能否从单张自然图像中推断出同时描述空间与属性规律性的符号程序？
• RQ2 此类程序引导的方法在无外部训练数据的情况下，能否在图像修复、外推和规律性编辑等任务中实现良好泛化？
• RQ3 与端到端深度学习或基于图像块的基线方法相比，程序引导的生成方法是否能更好地保持全局结构与局部外观？
• RQ4 建模属性规律性在对象外观多变的图像中，对生成质量的提升程度如何？
• RQ5 该系统能否以语义上有意义的方式处理不规则性并放大结构偏差？

主要发现

• PG-IM 在所有评估任务（图像修复、外推和规律性编辑）中均优于强基线模型（包括 PatchMatch、GatedConv 和 Non-Stationary）。
• 该模型生成的外推结果清晰且一致，同时尊重晶格几何结构与边界连续性，避免了基于图像块方法常见的模糊问题。
• 通过建模属性规律性，PG-IM 避免了颜色混合，保持了全局一致性，而 PatchMatch 会产生模糊或错误的颜色图像块。
• 即使在扩展到新区域时，程序引导的生成仍能保持结构完整性，如图像边界对齐的一致性所证明的那样。
• 通过放大检测到的中心点与程序预测位置之间的位移向量，可实现结构不规则性的夸张，从而支持语义感知编辑。
• PG-IM 不仅适用于晶格模式，还能推广到多样化的自然图像，包括具有非均匀对象变化的图像，展现出对真实世界图像多样性的强大鲁棒性。