[论文解读] Reference-Based Video Colorization with Spatiotemporal Correspondence

Naofumi Akimoto, Akio Hayakawa+2 more|arXiv (Cornell University)|Nov 25, 2020

Image Enhancement Techniques参考文献 27被引用 7

一句话总结

本文提出一种基于参考帧的视频着色方法，通过利用时空对应关系，仅从参考帧中时序一致的区域扭曲颜色，从而防止颜色泄漏和平均着色。通过结合实例跟踪与密集跟踪来传播掩码作为时序对应关系，该方法实现了忠实且长期的着色效果，在定量指标和定性保真度方面均优于当前最先进方法。

ABSTRACT

We propose a novel reference-based video colorization framework with spatiotemporal correspondence. Reference-based methods colorize grayscale frames referencing a user input color frame. Existing methods suffer from the color leakage between objects and the emergence of average colors, derived from non-local semantic correspondence in space. To address this issue, we warp colors only from the regions on the reference frame restricted by correspondence in time. We propagate masks as temporal correspondences, using two complementary tracking approaches: off-the-shelf instance tracking for high performance segmentation, and newly proposed dense tracking to track various types of objects. By restricting temporally-related regions for referencing colors, our approach propagates faithful colors throughout the video. Experiments demonstrate that our method outperforms state-of-the-art methods quantitatively and qualitatively.

研究动机与目标

• 解决由于非局部空间对应关系导致的基于参考帧的视频着色中的颜色泄漏和平均着色问题。
• 提升长时间视频着色中的时序一致性和用户可控性。
• 通过使用掩码传播而非随时间传播颜色，减少对易出错的颜色传播的依赖。
• 实现对不同物体的实例感知着色，以及对细粒度非实例物体的密集跟踪。
• 通过将颜色扭曲限制在与参考帧在时空上对齐的区域，提升着色保真度。

提出的方法

• 该框架包含三个阶段：跟踪、扭曲和优化，以实现时空对应。
• 采用实例跟踪对不同物体进行分割和跟踪，确保颜色不会在不同实例间混合。
• 引入密集跟踪以追踪像素级区域，尤其适用于未被实例跟踪覆盖或运动复杂的物体。
• 仅从与目标帧在时间上相关联的参考帧区域中扭曲颜色，基于传播的掩码实现。
• 通过参考帧与目标帧之间语义特征的相似性计算空间对应，确保颜色转移的准确性。
• 优化阶段使用编码器-解码器网络校正扭曲伪影并提升时序一致性。

实验结果

研究问题

• RQ1 时空对应能否减少基于参考帧的视频着色中物体之间的颜色泄漏？
• RQ2 结合实例跟踪与密集跟踪在复杂场景中能否提升着色准确性？
• RQ3 与颜色传播相比，基于时间的掩码传播在维持长期颜色一致性方面是否更优？
• RQ4 与基于注意力的模型相比，所提方法在用户可控性方面提升程度如何？
• RQ5 在背景变化或物体快速运动的视频中，该方法能否保持高保真度？

主要发现

• 在DAVIS-2017数据集上，使用单个参考帧（位于第一帧）时，该方法的PSNR达到28.76，优于先前方法。
• 在Videvo数据集上使用多个参考帧时，PSNR达到28.10，表明在多样化视频内容中具有鲁棒性。
• 在阈值为16时，Ours (inst.+dense)在DAVIS和Videvo上的%异常值指标分别为11.6%和11.2%，显著低于先前方法。
• 当阈值为8时，该方法在4K分辨率下可将用户重绘工作量减少约290,000像素（540×540），表明具有较高的用户可控性。
• 密集跟踪对性能贡献显著，尤其在全帧评估中，Ours (dense)在PSNR和异常值指标上均优于Ours (inst.)。
• 消融研究证实，若移除跟踪模块则性能下降，验证了掩码传播在准确颜色转移中的必要性。