[论文解读] Neural Color Transfer between Images.

Mingming He, Jing Liao+2 more|arXiv (Cornell University)|Oct 2, 2017

Image Enhancement Techniques参考文献 8被引用 29

一句话总结

本文提出了一种神经颜色迁移方法，通过神经表征实现语义感知的密集对应，以实现空间可变、全局一致的颜色迁移。通过采用自粗到精的联合优化策略，该方法在多种图像内容上实现了准确的一对一和一对多颜色迁移。

ABSTRACT

We propose a new algorithm for color transfer between images that have perceptually similar semantic structures. We aim to achieve a more accurate color transfer that leverages semantically-meaningful dense correspondence between images. To accomplish this, our algorithm uses neural representations for matching. Additionally, the color transfer should be spatially-variant and globally coherent. Therefore, our algorithm optimizes a local linear model for color transfer satisfying both local and global constraints. Our proposed approach jointly optimize matching and color transfer, adopting a coarse-to-fine strategy. The proposed method can be successfully extended from one-to-one to one-to-many color transfers. The latter further addresses the problem of mismatching elements of the input image. We validate our proposed method by testing it on a large variety of image content.

研究动机与目标

• 解决因图像结构相似但语义元素不匹配而导致的颜色迁移不准确问题。
• 通过利用神经表征实现密集的语义感知对应，提升颜色迁移的准确性。
• 在保持图像整体一致性的前提下，实现空间可变的颜色迁移。
• 将方法从一对一扩展到一对多颜色迁移，以提升其适用范围。
• 采用自粗到精策略，联合优化匹配与颜色迁移。

提出的方法

• 该方法利用神经表征在源图像与目标图像之间建立语义上有意义的密集对应关系。
• 将颜色迁移建模为一个优化问题，采用满足局部与全局约束的局部线性模型。
• 采用自粗到精的策略，逐步优化匹配与迁移过程。
• 该方法联合优化匹配与颜色迁移，提升了对齐精度与迁移质量。
• 将框架扩展至一对多颜色迁移，以减少复杂图像构图中的错配。
• 在保持全局一致性的同时，对颜色变换施加空间可变性。

实验结果

研究问题

• RQ1 神经表征能否通过实现语义感知的密集对应来提升颜色迁移的准确性？
• RQ2 如何在图像颜色迁移中实现空间可变但全局一致的颜色迁移？
• RQ3 所提出的方法能否有效从一对一扩展到一对多颜色迁移？
• RQ4 匹配与颜色迁移的联合优化在多大程度上提升了迁移质量？
• RQ5 自粗到精策略在多大程度上增强了迁移过程的鲁棒性与准确性？

主要发现

• 通过利用神经表征实现的语义对应，该方法显著提升了颜色迁移的准确性。
• 匹配与颜色迁移的联合优化显著改善了对齐效果与视觉质量。
• 自粗到精策略增强了迁移过程的稳定性和精确度。
• 将方法扩展至一对多颜色迁移，有效减少了复杂图像结构中的错配。
• 该方法在多种图像内容类型中均表现出稳健的性能。
• 空间可变、全局一致的颜色迁移生成了视觉上合理且一致的结果。