[论文解读] UniColor: A Unified Framework for Multi-Modal Colorization with Transformer

Zhitong Huang, Nanxuan Zhao+1 more|arXiv (Cornell University)|Sep 22, 2022

Media, Gender, and Advertising被引用 4

一句话总结

UniColor 提出首个基于 Transformer 的统一框架，用于多模态图像着色，通过将所有条件转换为统一的提示点表示，支持无条件、涂鸦、样本、文本及混合控制。其在所有模态下均实现最先进的多样性、质量与灵活性，通过结合 Chroma-VQGAN 与 Hybrid-Transformer 的两阶段架构，实现交互式、迭代式及混合着色编辑。

ABSTRACT

We propose the first unified framework UniColor to support colorization in multiple modalities, including both unconditional and conditional ones, such as stroke, exemplar, text, and even a mix of them. Rather than learning a separate model for each type of condition, we introduce a two-stage colorization framework for incorporating various conditions into a single model. In the first stage, multi-modal conditions are converted into a common representation of hint points. Particularly, we propose a novel CLIP-based method to convert the text to hint points. In the second stage, we propose a Transformer-based network composed of Chroma-VQGAN and Hybrid-Transformer to generate diverse and high-quality colorization results conditioned on hint points. Both qualitative and quantitative comparisons demonstrate that our method outperforms state-of-the-art methods in every control modality and further enables multi-modal colorization that was not feasible before. Moreover, we design an interactive interface showing the effectiveness of our unified framework in practical usage, including automatic colorization, hybrid-control colorization, local recolorization, and iterative color editing. Our code and models are available at https://luckyhzt.github.io/unicolor.

研究动机与目标

• 解决现有框架缺乏统一支持多样化多模态着色控制（如涂鸦、文本、样本）的不足。
• 克服现有方法仅限于单模态控制且无法跨模态泛化的局限性。
• 实现灵活、交互式的着色工作流程，包括混合控制、局部重着色及迭代编辑。
• 在支持用户引导定制的同时，保持生成结果的高多样性与视觉质量。
• 设计支持传统与现代图像实际、实时用户交互的系统。

提出的方法

• 通过提示点（即标注了颜色与空间位置的像素）将多模态输入（如涂鸦、样本、文本）转换为统一的中间表示。
• 引入基于 CLIP 的方法定位文本描述的对象，并通过将文本嵌入投影到图像区域，生成相应的提示点。
• 采用两阶段框架：首先编码灰度图与条件提示点；其次通过基于 Transformer 的网络生成多样化的着色结果。
• 设计 Chroma-VQGAN，采用独立的灰度与颜色编码器及联合解码器，以解耦内容与颜色表征。
• 开发 Hybrid-Transformer，通过提示点与潜在 token 之间的交叉注意力机制，实现对多模态线索的条件化着色生成。
• 通过在用户定义区域内掩码并重采样颜色 token，支持迭代编辑与局部重着色。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能有效在单一架构中支持多样化、多模态着色控制（如涂鸦、样本、文本）？
• RQ2 如何将具有不同分布的模态（如稀疏涂鸦 vs. 密集样本 vs. 语义文本）映射到一种统一且高效的中间表示？
• RQ3 基于 Transformer 的生成模型在条件化于异质提示点时，能在多大程度上保持高多样性与视觉质量？
• RQ4 该统一框架是否能支持实际的交互式工作流程，如混合控制、局部重着色及迭代编辑？
• RQ5 多模态控制融合中的失败模式是什么？如何检测或解决冲突（如重叠的提示点）？

主要发现

• UniColor 在所有评估模态下的无条件与条件着色任务中均优于最先进方法，展现出更优的多样性与质量。
• 基于 CLIP 的文本到提示点方法成功定位文本描述的对象，并生成语义相关的颜色提示。
• 结合 Chroma-VQGAN 与 Hybrid-Transformer 的两阶段框架，即使在复杂的混合控制下，也能生成高保真、多样的着色结果。
• 交互式系统支持实际应用场景，包括自动着色、混合控制编辑、局部重着色及迭代优化。
• 该框架支持端到端着色，用户可自定义重着色区域，例如将夹克从绿色改为橙色，或将公交车从黄色改为红色。
• 失败案例包括意外着色（如绿色道路）与控制冲突（如红色与绿色提示点重叠），表明在采样约束与冲突解决方面仍有改进空间。