[论文解读] Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer

Xin Wang, Geoffrey Oxholm+2 more|arXiv (Cornell University)|Nov 17, 2016

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 10

一句话总结

本文提出了一种名为 Multimodal Transfer 的分层深度卷积神经网络，通过在多尺度下联合建模色彩和亮度通道，实现了快速、高保真度的艺术风格迁移。通过在不断增加分辨率的多尺度上使用多种风格化损失进行训练，该方法在保留粗纹理失真和精细笔触方面显著优于以往的单损失前馈网络，大幅提升了高分辨率图像的视觉保真度。

ABSTRACT

Transferring artistic styles onto everyday photographs has become an extremely popular task in both academia and industry. Recently, offline training has replaced on-line iterative optimization, enabling nearly real-time stylization. When those stylization networks are applied directly to high-resolution images, however, the style of localized regions often appears less similar to the desired artistic style. This is because the transfer process fails to capture small, intricate textures and maintain correct texture scales of the artworks. Here we propose a multimodal convolutional neural network that takes into consideration faithful representations of both color and luminance channels, and performs stylization hierarchically with multiple losses of increasing scales. Compared to state-of-the-art networks, our network can also perform style transfer in nearly real-time by conducting much more sophisticated training offline. By properly handling style and texture cues at multiple scales using several modalities, we can transfer not just large-scale, obvious style cues but also subtle, exquisite ones. That is, our scheme can generate results that are visually pleasing and more similar to multiple desired artistic styles with color and texture cues at multiple scales.

研究动机与目标

• 解决现有前馈风格迁移网络在高分辨率图像上保留精细笔触和正确纹理尺度方面的局限性。
• 克服因在固定分辨率风格图像上训练而导致的纹理尺度不匹配问题。
• 通过在分层多尺度框架中同时建模色彩和亮度通道，提升视觉质量。
• 实现实时风格迁移，同时忠实地捕捉如笔触等复杂艺术细节。
• 支持多风格融合，使单张图像能够同时继承多个来源的独立风格特征。

提出的方法

• 该网络采用分层架构，从粗到细在多个分辨率下处理风格图像，以学习多尺度风格表征。
• 结合模态特定损失（色彩与亮度）以及多尺度内容和风格重建损失，以同时保留大尺度失真与精细纹理。
• 训练方案采用渐进式多阶段过程，利用低分辨率网络的特征初始化高分辨率网络，实现在多尺度上的端到端学习。
• 使用共享特征提取器进行内容表征，而独立的风格编码器分别处理色彩和亮度通道，随后进行融合。
• 网络在离线阶段通过组合多尺度的内容损失、风格损失和感知损失进行训练，以确保输出忠实于目标艺术风格。
• 最终模型为单一深度前馈网络，可在高分辨率图像（如1024×1024）上实现实时推理。

实验结果

研究问题

• RQ1 分层深度学习架构是否能够在高分辨率艺术风格迁移中保留精细笔触并正确还原纹理尺度？
• RQ2 与仅使用RGB的方案相比，同时引入色彩和亮度通道是否能提升生成结果的视觉保真度？
• RQ3 多尺度、多损失训练方案是否能优于单损失前馈网络，以捕捉复杂艺术风格？
• RQ4 是否可能训练单个网络，将不同风格的特征（如一种风格的粗纹理失真与另一种风格的精细笔触）融合到单一生成结果中？
• RQ5 尽管网络深度和复杂度增加，这种分层多模态网络是否仍能保持实时推理速度？

主要发现

• 所提出的多模态迁移网络在高分辨率图像（1024×1024）上的视觉质量显著优于最先进单一分支迁移网络，尤其在保留精细笔触和正确纹理尺度方面表现突出。
• 与在256×256风格图像上训练的单一分支网络相比，所提方法消除了纹理尺度不匹配问题，生成结果中笔触更准确、更自然。
• 在1024×1024图像上，测试推理时间仅为0.54秒，尽管网络深度超过两倍于Johnson等人网络（0.42秒），但性能相当。
• 显存占用为3100 MB，仅比Johnson的2400 MB略高，证明通过在低分辨率特征上进行分层处理，实现了高效的计算。
• 该方法成功实现了多风格融合，使单张图像能同时继承一种风格的粗纹理失真与另一种风格的精细笔触，这是以往单一分支迁移网络所不支持的能力。
• 消融实验证实，多尺度损失与多模态（色彩+亮度）监督的结合，对于同时捕捉大尺度与精细风格细节至关重要。