[论文解读] PhotoWCT$^2$: Compact Autoencoder for Photorealistic Style Transfer Resulting from Blockwise Training and Skip Connections of High-Frequency Residuals

Tai-Yin Chiu, Danna Gurari|arXiv (Cornell University)|Oct 22, 2021

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

PhotoWCT² 提出一种紧凑的自编码器，通过分块训练和高频残差跳跃连接实现逼真的风格迁移，参数量减少30.3%，支持4K分辨率，推理速度优于先前方法如PhotoWCT和WCT²，达到当前最优的风格化质量。

ABSTRACT

Photorealistic style transfer is an image editing task with the goal to modify an image to match the style of another image while ensuring the result looks like a real photograph. A limitation of existing models is that they have many parameters, which in turn prevents their use for larger image resolutions and leads to slower run-times. We introduce two mechanisms that enable our design of a more compact model that we call PhotoWCT$^2$, which preserves state-of-art stylization strength and photorealism. First, we introduce blockwise training to perform coarse-to-fine feature transformations that enable state-of-art stylization strength in a single autoencoder in place of the inefficient cascade of four autoencoders used in PhotoWCT. Second, we introduce skip connections of high-frequency residuals in order to preserve image quality when applying the sequential coarse-to-fine feature transformations. Our PhotoWCT$^2$ model requires fewer parameters (e.g., 30.3\% fewer) while supporting higher resolution images (e.g., 4K) and achieving faster stylization than existing models.

研究动机与目标

• 解决现有逼真风格迁移模型参数量过高和计算成本过高的问题，这些限制了其在高分辨率（如4K）图像和资源受限设备上的应用。
• 通过用单个紧凑自编码器替代PhotoWCT中效率低下的级联自编码器结构，实现从粗到细的特征转换，提升效率。
• 通过用高频残差跳跃连接替代最大池化跳跃连接，改善图像重建质量，更好地保留编码过程中丢失的细节。
• 在保持与PhotoWCT相当的强风格化能力的同时，实现更快的推理速度和更高的分辨率支持，优于现有方法。

提出的方法

• 引入分块训练，以粗到细的顺序逐步训练单个自编码器，模仿PhotoWCT的级联结构，但无需多个独立网络。
• 设计一种紧凑的自编码器架构，在单个网络中实现从粗到细的特征转换，减少参数量和推理时间。
• 基于从特征图中提取的高频残差设计跳跃连接，提升对编码过程中丢失的细粒度图像细节的恢复能力。
• 利用小波基信号处理原理指导高频残差跳跃连接的设计，确保在重建保真度上实现理论和实证上的提升。
• 采用向内（从粗到细）和向外（从细到粗）的训练策略，以稳定训练过程并改善跨尺度的特征对齐。
• 用学习得到的高频残差跳跃连接替代最大池化索引，提升重建质量，同时不增加模型复杂度。

实验结果

研究问题

• RQ1 单个紧凑自编码器能否实现与PhotoWCT的级联四自编码器设计相当的风格化强度？
• RQ2 分块训练是否能在单个网络中有效实现从粗到细的特征转换，同时保持高水平的风格化质量？
• RQ3 高频残差跳跃连接是否能在风格迁移过程中比传统最大池化索引更有效地保留图像细节？
• RQ4 与最先进方法相比，所提方法在支持4K分辨率的同时，能在多大程度上减少模型参数量和推理时间？
• RQ5 分块训练与高频残差跳跃连接的结合如何影响图像的逼真度和风格化保真度？

主要发现

• PhotoWCT² 相较于PhotoWCT，模型参数量减少30.3%，同时保持最先进水平的风格化强度和逼真度。
• 该模型支持4K分辨率（830万像素），并实现比现有方法（包括PhotoWCT和WCT²）更快的风格化推理速度。
• 分块训练使单个自编码器能够复制PhotoWCT级联结构的从粗到细特征转换，无需使用多个网络。
• 基于高频残差的跳跃连接显著提升了图像重建质量，有效保留了标准自编码器编码过程中丢失的细节。
• 消融实验表明，若移除最高层的残差跳跃连接（如enc₄blk₄和dec_btblk₄），图像质量会明显下降，验证了其关键作用。
• 在DPST数据集上的定性和定量结果表明，PhotoWCT²的风格化性能与SOTA方法（如PhotoWCT和WCT²）相当，但耗时仅为后者的几分之一。