[论文解读] Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization

Jingtang Liang, Xiaodong Cun+2 more|arXiv (Cornell University)|Sep 13, 2021

Advanced Vision and Imaging参考文献 41被引用 5

一句话总结

本文提出S2CRNet，一种新颖的分隔空间曲线渲染网络，用于高效、高分辨率图像合成，将色彩调节建模为全局曲线参数学习，而非逐像素转换。通过从前景和背景的低分辨率缩略图中提取空间特异性特征，并利用曲线渲染模块生成分段线性曲线，该方法在参数量减少90%以上的同时，实现超过90%的推理速度提升，在2048×2048分辨率下推理时间低于0.1秒，达到SOTA性能。

ABSTRACT

Image harmonization aims to modify the color of the composited region with respect to the specific background. Previous works model this task as a pixel-wise image-to-image translation using UNet family structures. However, the model size and computational cost limit the ability of their models on edge devices and higher-resolution images. To this end, we propose a novel spatial-separated curve rendering network(S$^2$CRNet) for efficient and high-resolution image harmonization for the first time. In S$^2$CRNet, we firstly extract the spatial-separated embeddings from the thumbnails of the masked foreground and background individually. Then, we design a curve rendering module(CRM), which learns and combines the spatial-specific knowledge using linear layers to generate the parameters of the piece-wise curve mapping in the foreground region. Finally, we directly render the original high-resolution images using the learned color curve. Besides, we also make two extensions of the proposed framework via the Cascaded-CRM and Semantic-CRM for cascaded refinement and semantic guidance, respectively. Experiments show that the proposed method reduces more than 90% parameters compared with previous methods but still achieves the state-of-the-art performance on both synthesized iHarmony4 and real-world DIH test sets. Moreover, our method can work smoothly on higher resolution images(eg., $2048 imes2048$) in 0.1 seconds with much lower GPU computational resources than all existing methods. The code will be made available at \url{http://github.com/stefanLeong/S2CRNet}.

研究动机与目标

• 解决现有基于UNet的图像合成模型在高分辨率图像和边缘设备上效率低下、计算成本高的问题。
• 克服深度学习模型中逐像素预测方法在图像分辨率提升时扩展性差的局限。
• 通过将任务重思考为全局曲线参数学习而非逐像素调整，实现实时、高分辨率图像合成。
• 引入一种透明且可编辑的框架，使学习到的色彩曲线可手动微调，实现用户控制。
• 通过级联与语义引导机制扩展框架，提升优化精度与领域感知的合成能力。

提出的方法

• 使用共享的预训练主干网络（如SqueezeNet或VGG16）从前景和背景的低分辨率缩略图中提取分隔空间的全局特征。
• 对前景和背景特征分别应用线性投影，以学习区域特异性嵌入。
• 将两种嵌入组合，生成每个RGB通道的分段线性色彩曲线函数的参数。
• 直接使用学习到的曲线参数渲染原始高分辨率前景，跳过逐像素预测。
• 引入Cascaded-CRM实现多阶段优化，通过顺序预测多组曲线参数。
• 引入Semantic-CRM，结合类别感知的语义嵌入，基于前景类别引导曲线学习。

实验结果

研究问题

• RQ1 图像合成能否被有效建模为全局曲线参数学习问题，而非逐像素图像到图像的转换？
• RQ2 基于曲线的渲染方法是否能在显著降低模型大小和推理成本的同时，实现SOTA性能？
• RQ3 与现有方法相比，该方法在高分辨率图像（如2048×2048）上的速度与计算效率表现如何？
• RQ4 引入级联与语义引导是否能提升合成质量，并增强对新背景或物体的泛化能力？
• RQ5 在分段线性逼近中，曲线分段数（L）对性能的敏感度如何？

主要发现

• 与先前SOTA方法相比，S2CRNet在iHarmony4和DIH数据集上均将模型参数量减少90%以上，同时保持或提升性能。
• 在2048×2048分辨率下，推理时间低于0.1秒，仅需0.61 G MACS，显著优于先前方法，在速度与计算效率方面表现卓越。
• 消融实验表明，L=64的曲线分段数提供了最佳平衡，进一步增加L带来的性能增益微乎其微，且在iHarmony数据集上可能导致性能下降。
• 定量比较证实，分段线性曲线（Ours）在HCOCO和iHarmony数据集上所有指标（MSE↓，PSNR↑，SSIM↑）上均优于Zero-DCE和3DLUT等替代方法。
• Cascaded-CRM通过多轮曲线预测实现渐进式优化，显著提升视觉合成质量。
• 该方法对新背景具有良好的泛化能力，如在未见过的背景上成功实现新前景的合成。