[论文解读] Unifying Image Processing as Visual Prompting Question Answering

Yihao Liu, Xiangyu Chen+5 more|arXiv (Cornell University)|Oct 16, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出 PromptGIP，一种统一的视觉提示问答框架，将图像恢复、增强和边缘检测等多样化的低层次图像处理任务统一为基于结构化提示的问答问题。通过利用视觉提示的上下文学习，PromptGIP 在无需任务特定微调的情况下实现了跨领域任务的零样本泛化，在未见任务上展现出强大的性能与鲁棒性。

ABSTRACT

Image processing is a fundamental task in computer vision, which aims at enhancing image quality and extracting essential features for subsequent vision applications. Traditionally, task-specific models are developed for individual tasks and designing such models requires distinct expertise. Building upon the success of large language models (LLMs) in natural language processing (NLP), there is a similar trend in computer vision, which focuses on developing large-scale models through pretraining and in-context learning. This paradigm shift reduces the reliance on task-specific models, yielding a powerful unified model to deal with various tasks. However, these advances have predominantly concentrated on high-level vision tasks, with less attention paid to low-level vision tasks. To address this issue, we propose a universal model for general image processing that covers image restoration, image enhancement, image feature extraction tasks, etc. Our proposed framework, named PromptGIP, unifies these diverse image processing tasks within a universal framework. Inspired by NLP question answering (QA) techniques, we employ a visual prompting question answering paradigm. Specifically, we treat the input-output image pair as a structured question-answer sentence, thereby reprogramming the image processing task as a prompting QA problem. PromptGIP can undertake diverse cross-domain tasks using provided visual prompts, eliminating the need for task-specific finetuning. Our methodology offers a universal and adaptive solution to general image processing. While PromptGIP has demonstrated a certain degree of out-of-domain task generalization capability, further research is expected to fully explore its more powerful emergent generalization.

研究动机与目标

• 解决低层次视觉任务缺乏统一、通用模型的问题，这些任务通常依赖于需要专家定制设计的任务特定模型。
• 克服现有大规模视觉模型主要关注高层任务、导致低层次视觉任务研究不足的局限性。
• 开发一个通用框架，仅使用单一架构即可处理具有不同输出域的多样化图像处理任务。
• 通过视觉提示的上下文学习实现对域外任务的零样本泛化，减少对微调的依赖。
• 证明视觉提示能够有效引导模型行为，而不会过度拟合到训练数据的模式或内容特定偏差。

提出的方法

• 将图像处理任务重新定义为视觉提示问答任务，将输入-输出图像对视为结构化的问答对。
• 使用成对的视觉提示（例如，将干净图像作为“问题”，将退化图像作为“答案”）来定义任务，从而支持上下文学习。
• 使用统一的目标在多样化的图像处理任务上训练一个通用视觉模型，不使用任务特定的头或适应模块。
• 利用上下文学习根据视觉提示推断正确的处理操作，而非依赖模型微调。
• 设计具有高纹理和色彩丰富度的提示，以提升任务理解与模型泛化能力，减少歧义。
• 通过提供适当的视觉提示，将模型应用于未见过的任务（如风格迁移），展示其涌现的泛化能力。

实验结果

研究问题

• RQ1 一个单一的统一视觉模型是否能够在无需任务特定微调的情况下处理多样化的低层次图像处理任务（如图像恢复、增强和边缘检测）？
• RQ2 在问答范式中，视觉提示在多大程度上能够实现在跨领域图像处理任务上的零样本泛化？
• RQ3 提示质量（如纹理、色彩丰富度）在多大程度上影响模型正确理解并执行预期图像处理操作的能力？
• RQ4 当提示存在歧义时，模型是否能避免常见陷阱（如将室内场景与深度估计错误关联）？
• RQ5 视觉提示问答框架是否能够实现对训练期间未见过的域外任务的涌现泛化？

主要发现

• PromptGIP 在图像恢复和增强任务上实现了具有竞争力的视觉质量，性能与 Restormer 和 ViT-large 等专用模型相当或更优。
• 当提供适当的视觉提示时，模型在风格迁移等域外任务上表现出有效的泛化能力，表明其具备涌现的零样本能力。
• 当在去噪提示下接收到高斯模糊图像时，PromptGIP 正确选择不进行处理，表明其理解任务意图而非记忆内容。
• 当使用 Canny 边缘检测视觉提示时，模型能正确对噪声图像应用 Canny 算子，证实其能够执行特定任务的操作。
• 提示质量显著影响性能：纹理和色彩丰富的提示能带来更优结果，凸显了在视觉提示范式中提示工程的重要性。
• 当提示清晰定义任务时，模型能避免误分类（如在噪声室内图像上执行深度估计），表现出对基于内容混淆的鲁棒性。