[论文解读] Palette-based image decomposition, harmonization, and color transfer

Jianchao Tan, Jose Echevarria+1 more|arXiv (Cornell University)|Apr 4, 2018

Image Enhancement Techniques参考文献 3被引用 8

一句话总结

本文提出了一种基于几何的快速调色板分解框架，适用于5D RGBXY空间，通过使用感知均匀的颜色轮实现实时色彩调和与转移。该方法可在20毫秒内完成600万像素图像的分解，并通过基于轴的和谐模板为艺术家和设计师提供直观且可扩展的工具。

ABSTRACT

We present a palette-based framework for color composition for visual applications. Color composition is a critical aspect of visual applications in art, design, and visualization. The color wheel is often used to explain pleasing color combinations in geometric terms, and, in digital design, to provide a user interface to visualize and manipulate colors. We abstract relationships between palette colors as a compact set of axes describing harmonic templates over perceptually uniform color wheels. Our framework provides a basis for a variety of color-aware image operations, such as color harmonization and color transfer, and can be applied to videos. To enable our approach, we introduce an extremely scalable and efficient yet simple palette-based image decomposition algorithm. Our approach is based on the geometry of images in RGBXY-space. This new geometric approach is orders of magnitude more efficient than previous work and requires no numerical optimization. We demonstrate a real-time layer decomposition tool. After preprocessing, our algorithm can decompose 6 MP images into layers in 20 milliseconds. We also conducted three large-scale, wide-ranging perceptual studies on the perception of harmonic colors and harmonization algorithms.

研究动机与目标

• 开发一种可扩展、高效的图像分解方法，实现实时色彩感知编辑，适用于高分辨率图像。
• 利用感知均匀的颜色空间（CIE LCh）和颜色轮上的几何模板建模色彩调和。
• 为艺术家和设计师提供直观、交互式的框架，用于操纵调色板并调和图像。
• 开展大规模的色彩调和感知研究，以验证该框架的有效性及用户感知。
• 实现应用如色彩转移、重绘色和合成，仅需最少用户输入并保持高视觉保真度。

提出的方法

• 提出一种基于5D RGBXY空间几何的新图像分解算法，无需数值优化。
• 在5D空间中使用广义重心坐标，将每个像素分配给调色板，实现快速且鲁棒的分解。
• 利用源自经典色彩理论（如邻近、互补、三色组）的CIE LCh空间中的轴定义和谐模板。
• 通过全局色调旋转和模板对齐，将参考图像的色彩调和效果转移到输入图像。
• 采用两阶段色彩转移：模板对齐（用于色调匹配）和模板转移（用于色彩保留）。
• 使用感知度量在调和后匹配输入与参考调色板颜色的平均明度和饱和度。

实验结果

研究问题

• RQ1 如何使图像分解在实现实时色彩编辑的同时兼具高度效率与感知意义？
• RQ2 在感知均匀的颜色空间（CIE LCh）中，几何模板能否有效表示并实现色彩调和？
• RQ3 与现有方法相比，用户如何感知基于调色板的色彩调和与转移结果？
• RQ4 基于模板的色彩转移在多大程度上能保留原始色彩，同时实现视觉和谐？
• RQ5 色彩调和中的感知限制与用户偏好是什么，如何为算法设计提供指导？

主要发现

• 所提出的图像分解算法在预处理后仅用20毫秒即可处理600万像素图像，相比最先进方法提速20倍。
• 该框架支持实时图层分解与交互式调色板编辑，适用于高分辨率图像（≥1亿像素）。
• 感知研究表明，用户对色彩调和的感知存在显著差异，凸显了在色彩算法设计中融入用户反馈的必要性。
• 模板对齐方法更优地匹配整体色调与色彩比例，而模板转移方法更有效地保留原始色彩。
• 该方法在风格化色彩转移的视觉质量方面优于先前工作，尤其在匹配主导色彩主题方面表现更佳。
• 在特定颜色分布下，5D凸包计算成为孤立的性能瓶颈，提示存在进一步优化空间。