[论文解读] Robust Registration of Gaussian Mixtures for Colour Transfer

Mairéad Grogan, Rozenn Dahyot|arXiv (Cornell University)|May 17, 2017

Image Enhancement Techniques参考文献 29被引用 9

一句话总结

该论文提出了一种基于高斯混合模型（GMMs）的鲁棒、参数化色彩迁移方法，通过注册目标图像与调色板图像的色彩分布，实现快速、可并行处理的重新着色，并支持可定制、可组合的迁移函数。该方法在速度和抗伪影方面优于当前最先进技术，同时通过学习到的变换插值支持动态视觉效果。

ABSTRACT

We present a flexible approach to colour transfer inspired by techniques recently proposed for shape registration. Colour distributions of the palette and target images are modelled with Gaussian Mixture Models (GMMs) that are robustly registered to infer a non linear parametric transfer function. We show experimentally that our approach compares well to current techniques both quantitatively and qualitatively. Moreover, our technique is computationally the fastest and can take efficient advantage of parallel processing architectures for recolouring images and videos. Our transfer function is parametric and hence can be stored in memory for later usage and also combined with other computed transfer functions to create interesting visual effects. Overall this paper provides a fast user friendly approach to recolouring of image and video materials.

研究动机与目标

• 开发一种快速、灵活且鲁棒的色彩迁移方法，利用形状配准原理实现图像与视频的重新着色。
• 通过从GMM中导出的参数化变形函数，实现高效计算与并行处理，提升色彩迁移效率。
• 支持用户定义的对应关系以及多个迁移函数的动态插值，以实现艺术化视觉效果。
• 在保持高感知质量与计算效率的同时，减少梯度场中的伪影。
• 提供一个用于存储、组合与重用迁移函数的框架，以支持交互式与程序化色彩操作。

提出的方法

• 使用高斯混合模型（GMMs）对目标图像与调色板图像的色彩分布进行建模，实现对复杂色彩统计特性的鲁棒表示。
• 通过最小化目标图像与调色板图像GMM之间的$\mathcal{L}_2$距离，利用潜在参数$\theta$估计参数化变形函数$\phi_{\theta}(x)$。
• 引入目标图像与调色板图像之间用户定义或计算得到的像素对应关系，以指导配准过程，提升对异常值的鲁棒性。
• 采用并行编程技术实现重新着色，支持图像与视频的实时处理。
• 支持多个迁移函数$\hat{\phi} = \phi_{\hat{\theta}}$的组合与插值，以生成动态效果，包括通过掩码$\gamma(p,t)$实现的空间-时间混合。
• 应用后处理步骤（如梯度场平滑或钳位）以减轻饱和度伪影，提升视觉质量。

实验结果

研究问题

• RQ1 基于GMM的色彩分布配准是否能够实现比现有非参数化或仿射方法更快、更鲁棒的色彩迁移？
• RQ2 在目标图像与调色板图像之间引入对应关系，是否能提升色彩迁移的准确度与鲁棒性？
• RQ3 参数化变形函数在多大程度上可被组合与插值，以在图像与视频中生成新颖的视觉效果？
• RQ4 在PSNR、SSIM、CID与感知质量方面，该方法与当前最先进技术相比，其定量与定性表现如何？
• RQ5 该框架是否能通过并行处理高效支持实时视频重新着色与动态色彩过渡？

主要发现

• 所提方法在计算速度方面优于当前最先进技术，是目前图像与视频重新着色中最快的方法。
• 在PSNR、SSIM与CID指标上，所提方法与顶尖技术之间未发现统计上显著的差异，表明其定量性能相当。
• 视觉评估显示，与竞争方法相比，该方法在高对比度区域对梯度场伪影更具鲁棒性。
• 由于迁移函数的参数化特性，可实现高效存储与重用，并支持多个迁移函数的无缝组合与插值，以生成复杂视觉效果。
• 通过空间与时间可变的插值掩码，该方法支持动态色彩过渡，实现溶解效果与视频中的局部重新着色。
• 可应用梯度平滑等后处理步骤以减少量化伪影，尽管可能降低图像锐度。