[论文解读] Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN

Lvmin Zhang, Yi Ji+1 more|arXiv (Cornell University)|Jun 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 33

一句话总结

本文提出了一种新颖的动漫素描风格迁移方法，采用增强残差U-Net生成器与辅助分类器生成对抗网络（AC-GAN）相结合。通过整合VGG-19的fc1层提供的全局风格提示，并引入两个引导解码器以稳定训练过程，该模型能有效将参考画作的艺术风格迁移至素描图像，同时保持语义结构，并实现高质量、连贯的结果，支持快速、前向传播推理。

ABSTRACT

Recently, with the revolutionary neural style transferring methods, creditable paintings can be synthesized automatically from content images and style images. However, when it comes to the task of applying a painting's style to an anime sketch, these methods will just randomly colorize sketch lines as outputs and fail in the main task: specific style tranfer. In this paper, we integrated residual U-net to apply the style to the gray-scale sketch with auxiliary classifier generative adversarial network (AC-GAN). The whole process is automatic and fast, and the results are creditable in the quality of art style as well as colorization.

研究动机与目标

• 为解决现有神经风格迁移方法在将绘画风格迁移至动漫素描时，常导致随机或不连贯着色的问题。
• 开发一种完全前向传播、快速且自动的方法，仅使用一张参考画作为风格图，将素描映射为风格化绘画。
• 通过引入一种改进的残差U-Net架构与双引导解码器，缓解在输入输出信息不平衡（如素描与细节丰富的画作）时条件GAN的训练不稳定性。
• 通过使用AC-GAN变体，使判别器能够同时区分真实/虚假图像并预测风格类别，从而提升判别器性能。
• 实现高保真度风格迁移，保留头发、眼睛、皮肤和服装等语义特征，确保输出结果连贯且具有艺术合理性。

提出的方法

• 生成器采用带有跳跃连接的残差U-Net架构，其中来自VGG-19的fc1层（4096维）的全局风格提示在经过全局归一化后，被添加至中间层。
• 引入两个引导解码器：一个位于中间层的输入端，一个位于输出端，以稳定梯度并防止反向传播过程中的梯度消失。
• 使用改进的L1损失，包含三个分量：最终输出的重建损失，以及两个引导解码器输出的附加L1损失，权重分别为α=0.3和β=0.9。
• 判别器基于AC-GAN改进，输出类别数为4096，对应风格嵌入向量，实现真实/虚假图像分类与风格类别预测的双重功能。
• 训练目标结合对抗损失（L_GAN）与复合L1损失，最终优化目标为 min_G max_D L_GAN + λ·L_l1。
• 模型通过真实素描-绘画配对数据进行训练，同时冻结VGG-19的特征以保持内容与风格表征。

实验结果

研究问题

• RQ1 基于条件GAN的方法能否在保持语义一致性和色彩连贯性的前提下，有效实现从参考画作到素描的风格迁移？
• RQ2 在从低信息量素描到高信息量画作的迁移过程中，如何缓解U-Net架构在训练中的不稳定性？
• RQ3 将预训练VGG网络的全局风格提示整合到模型中，是否能提升动漫素描着色任务中风格迁移的质量与一致性？
• RQ4 在成对或分布不平衡的数据中，辅助分类器GAN是否能优于标准条件GAN，在风格迁移任务中表现更优？
• RQ5 引导解码器在深度残差U-Net生成器中对图像到图像翻译任务的梯度流动与训练稳定性有多大的改善作用？

主要发现

• 所提方法成功将参考画作的艺术风格迁移至动漫素描，生成结果连贯、高质量且具有艺术合理性，有效避免了随机或不连贯的着色现象。
• 使用两个引导解码器显著提升了训练稳定性，表现为损失波动减小与梯度流动更一致，尤其在处理高维风格提示时效果明显。
• 与标准U-Net和条件GAN相比，该模型在保留头发、眼睛、皮肤和服装等语义特征方面表现更优，且能根据风格图正确着色。
• AC-GAN判别器通过同时实现图像真实性与风格类别分类，优于标准条件GAN，生成风格更聚焦、更逼真。
• 得益于引导解码器机制对中间层梯度的稳定作用，该模型在面对噪声较大或高度信息丰富的全局风格提示（如4096维向量）时仍表现出强鲁棒性。
• 该方法支持快速前向传播推理，适用于动画制作与数字艺术创作中的实时应用。