[论文解读] Region-aware Adaptive Instance Normalization for Image Harmonization

Jun Ling, Han Xue+3 more|arXiv (Cornell University)|Jun 5, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 11

一句话总结

本文提出了一种新型归一化模块——区域感知自适应实例归一化（RAIN），用于在图像融合任务中将背景视觉风格迁移至前景。通过使用掩码引导的、区域感知的机制，自适应地将前景特征统计量对齐以匹配背景统计量，RAIN 显著提升了图像的真实感，在 PSNR 上相比之前的方法最高提升 1.37dB，在估计误差上提升 12.07。

ABSTRACT

Image composition plays a common but important role in photo editing. To acquire photo-realistic composite images, one must adjust the appearance and visual style of the foreground to be compatible with the background. Existing deep learning methods for harmonizing composite images directly learn an image mapping network from the composite to the real one, without explicit exploration on visual style consistency between the background and the foreground images. To ensure the visual style consistency between the foreground and the background, in this paper, we treat image harmonization as a style transfer problem. In particular, we propose a simple yet effective Region-aware Adaptive Instance Normalization (RAIN) module, which explicitly formulates the visual style from the background and adaptively applies them to the foreground. With our settings, our RAIN module can be used as a drop-in module for existing image harmonization networks and is able to bring significant improvements. Extensive experiments on the existing image harmonization benchmark datasets show the superior capability of the proposed method. Code is available at {https://github.com/junleen/RainNet}.

研究动机与目标

• 解决图像合成中前景与背景之间视觉风格不一致的长期问题。
• 将图像融合重新定义为风格迁移任务，聚焦于对齐光照、色温、饱和度和纹理。
• 开发一种即插即用的归一化层，显式学习并应用背景视觉风格至前景。
• 在无需对现有融合网络进行大规模架构修改的前提下，提升合成图像的真实感。
• 在多个基准测试和用户研究中均展现出一致的性能提升。

提出的方法

• 提出区域感知自适应实例归一化（RAIN）模块，仅从背景特征中计算风格统计量（均值与方差）。
• 利用前景分割掩码隔离前景激活，并仅在这些区域应用风格自适应。
• 通过重参数化将前景特征图自适应归一化，使其通道维均值与方差与背景特征导出的统计量相匹配。
• 将 RAIN 作为插件模块集成至现有图像融合网络中，尤其在解码器中放置以实现最佳性能。
• 使用对抗性损失与感知损失进行端到端训练，以保持真实感与结构一致性。
• 采用对称设计，将 RAIN 层置于对应编码器-解码器层中，以稳定特征对齐与训练过程。

实验结果

研究问题

• RQ1 与无风格引导的端到端映射相比，显式地从背景到前景进行风格迁移是否能提升合成图像的真实感？
• RQ2 与全局归一化相比，仅针对前景区域的区域感知风格自适应在保持视觉一致性方面表现如何？
• RQ3 在图像融合任务中，RAIN 模块的最佳放置位置（如编码器与解码器之间）为何处可实现性能最大化？
• RQ4 RAIN 在不进行架构全面重构的前提下，能在多大程度上被集成至现有网络以提升性能？
• RQ5 在真实世界图像合成的用户偏好研究中，RAIN 相较于最先进方法的表现如何？

主要发现

• 当应用于 DIH 网络时，RAIN 在 DIH 基准测试中实现了 33.84dB 的 PSNR，相比基线模型提升 0.48dB。
• 所提方法显著降低了前景估计误差（fMSE），表明前景外观与背景的对齐效果更优。
• 用户研究表明，32.5% 的投票偏好 RainNet 生成的融合图像，优于所有对比方法。
• RAIN 在 PSNR 与估计误差上均优于实例归一化（IN）与批量归一化（BN），在与 DoveNet 的对比中实现 1.37dB 的增益。
• 将 RAIN 置于解码器、IN 置于编码器时性能最佳，且 RAIN-1（单层）略优于更深的配置。
• 该方法有效减少了视觉风格差异，尤其在光照与纹理多变的复杂场景中表现显著，经定性与定量评估验证。