[论文解读] Multi-style Generative Network for Real-time Transfer

Hang Zhang, Kristin Dana|arXiv (Cornell University)|Mar 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 113

一句话总结

MSG-Net 引入 CoMatch 层，通过匹配二阶统计量学习 2D 风格表示，实现带刷子大小控制的实时多风格迁移，且图像质量高。

ABSTRACT

Despite the rapid progress in style transfer, existing approaches using feed-forward generative network for multi-style or arbitrary-style transfer are usually compromised of image quality and model flexibility. We find it is fundamentally difficult to achieve comprehensive style modeling using 1-dimensional style embedding. Motivated by this, we introduce CoMatch Layer that learns to match the second order feature statistics with the target styles. With the CoMatch Layer, we build a Multi-style Generative Network (MSG-Net), which achieves real-time performance. We also employ an specific strategy of upsampled convolution which avoids checkerboard artifacts caused by fractionally-strided convolution. Our method has achieved superior image quality comparing to state-of-the-art approaches. The proposed MSG-Net as a general approach for real-time style transfer is compatible with most existing techniques including content-style interpolation, color-preserving, spatial control and brush stroke size control. MSG-Net is the first to achieve real-time brush-size control in a purely feed-forward manner for style transfer. Our implementations and pre-trained models for Torch, PyTorch and MXNet frameworks will be publicly available.

研究动机与目标

• 在实时风格迁移中超越 1D 风格嵌入，提升质量与灵活性。
• 引入 CoMatch Layer，以匹配目标风格的二阶特征统计量（Gram 矩阵）。
• 构建 MSG-Net，一个具备上采样解码器以避免棋盘伪影的多风格生成网络。
• 实现实时刷子大小控制，并兼容内容-风格插值、颜色保留与空间控制。
• 在从 100 种扩展到 1,000 种风格时，展示可实现的可扩展性且质量损失最小。

提出的方法

• 提出 CoMatch Layer，通过匹配风格目标的 Gram 矩阵统计量来学习二维风格表示。
• 将 CoMatch Layer 嵌入到具有上采样卷积解码器的多风格生成网络 (MSG-Net) 中，以避免棋盘伪影。
• 使用上采样残差块以保留通道丰富度并实现更深的网络。
• 使用结合内容与多尺度风格项的损失进行训练，损失网络可采用预训练（如 VGG）和感知损失。
• 采用 Siamese 编码器提取风格统计量，利用变换网络通过多尺度的 CoMatch Layer 进行应用。
• 通过改变输入风格图像大小并以多种风格尺寸进行训练来实现刷子大小控制。

实验结果

研究问题

• RQ1 通过 Gram 矩阵统计量实现的二维风格表示是否能够在单一前馈网络中实现高质量的多风格迁移？
• RQ2 CoMatch Layer 是否在多风格场景中相较传统的一维嵌入提升风格保真度？
• RQ3 在纯前馈框架中是否能实现无伪影的实时刷子大小控制？
• RQ4 当风格数量从 100 增加到 1,000 时，MSG-Net 的可扩展性如何？
• RQ5 MSG-Net 是否与现有风格迁移技术（如内容-风格插值与空间控制）兼容？

主要发现

• 与若干前人方法相比，MSG-Net 在图像保真度和实时速度方面具有优势。
• 通过 CoMatch Layer 的二维风格表示能够有效匹配目标风格的二阶统计量。
• 上采样卷积与上采样残差块在保持效率的同时降低了棋盘伪影。
• MSG-Net-100（2.3M 参数）在 256×256 输入下速度超过 90 fps，且与风格插值、颜色保留与空间控制特性兼容。
• 增至 MSG-Net-1K（8.9M 参数）时没有明显的质量下降，展示了可扩展的多风格能力。
• 该模型通过改变输入风格图像大小实现实时刷子大小控制，这是纯前馈多风格迁移的首次实现。