[论文解读] Two Decades of Colorization and Decolorization for Images and Videos

Shiguang Liu|arXiv (Cornell University)|Apr 28, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本文对图像与视频色彩化及去色化技术进行了为期二十年的全面综述，涵盖半自动、全自动以及基于深度学习的方法。文章强调了在视频去色化中保持时空一致性的关键进展，并指出了在效率、评估指标和数据集可扩展性方面面临的挑战。

ABSTRACT

Colorization is a computer-aided process, which aims to give color to a gray image or video. It can be used to enhance black-and-white images, including black-and-white photos, old-fashioned films, and scientific imaging results. On the contrary, decolorization is to convert a color image or video into a grayscale one. A grayscale image or video refers to an image or video with only brightness information without color information. It is the basis of some downstream image processing applications such as pattern recognition, image segmentation, and image enhancement. Different from image decolorization, video decolorization should not only consider the image contrast preservation in each video frame, but also respect the temporal and spatial consistency between video frames. Researchers were devoted to develop decolorization methods by balancing spatial-temporal consistency and algorithm efficiency. With the prevalance of the digital cameras and mobile phones, image and video colorization and decolorization have been paid more and more attention by researchers. This paper gives an overview of the progress of image and video colorization and decolorization methods in the last two decades.

研究动机与目标

• 提供过去二十年来图像与视频色彩化及去色化方法的系统性概述。
• 分析从用户交互式方法到完全自动化及基于深度学习方法在色彩化与去色化中的演变过程。
• 识别计算效率、视频处理中的时间一致性以及缺乏客观评估指标等关键挑战。
• 强调需要大规模、高质量数据集以推动基于深度学习的色彩化与去色化技术发展。
• 探讨感知一致性的作用，特别是在视频去色化中，闪烁与时间不一致性仍是关键问题。

提出的方法

• 将图像色彩化方法分类为半自动（例如基于涂抹的优化、从样本中迁移颜色）与自动（例如基于深度学习）方法。
• 回顾经典图像去色化技术，如分量法、最大值法、平均值法和加权平均法，强调其在保持感知质量方面的局限性。
• 分析全局与局部去色化策略，重点关注在保留亮度与恢复色彩细节之间取得平衡的方法。
• 研究强制实现时间一致性的视频去色化技术，包括基于双边滤波的残差重建与基于邻近度的帧分类方法。
• 介绍基于CNN-LSTM架构的深度学习视频去色化方法，其中局部语义编码器与双向RNN共同保持时空一致性。
• 提出一种基于去色化高斯混合模型（DC-GMM）的框架，通过邻近度对视频帧进行分类，并应用定制化去色化策略以维持时间一致性。

实验结果

研究问题

• RQ1 在过去的二十年中，用户交互式与自动色彩化技术在性能与效率方面如何演变？
• RQ2 在视频去色化过程中，保持时间一致性的关键挑战是什么？现代方法如何应对这些挑战？
• RQ3 与经典方法相比，基于深度学习的方法在图像与视频去色化质量与效率方面提升了多少？
• RQ4 视频帧之间的感知相似性在减少闪烁与增强去色化时间一致性方面起到何种作用？
• RQ5 当前评估实践中的主要差距是什么？如何通过更客观的评估指标与大规模数据集推动该领域发展？

主要发现

• 基于涂抹或从样本中迁移颜色的半自动色彩化方法可实现高质量结果，但需要大量用户输入，限制了可扩展性。
• 基于亮度的去色化经典方法常无法保留具有感知重要性的对比度与纹理细节。
• 基于双边滤波的去色化方法通过建模残差图像有效恢复丢失的对比度，并因对帧间变化具有鲁棒性而保持时间一致性。
• 基于邻近度的视频去色化方法结合DC-GMM可实现帧间自适应策略选择，显著提升高、中、低邻近度序列的处理质量。
• 基于CNN与LSTM网络的深度学习视频去色化方法通过建模局部语义与长距离依赖关系，实现了优越的时间一致性。
• 尽管已取得进展，当前方法在高清视频的实时处理方面仍面临挑战，且缺乏标准化、客观的色彩化与去色化质量评估指标。