[论文解读] Neural Abstract Style Transfer for Chinese Traditional Painting

Bo Li, Caiming Xiong+4 more|arXiv (Cornell University)|Dec 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 5

一句话总结

本文提出了一种专为强调抽象与无纹理特性的中国山水画设计的新型神经风格迁移方法。通过引入MXDoG引导损失和三种可微分损失项，该模型在真实图像上实现了比现有方法更优的抽象笔触与风格化一致性，生成结果更加自然且审美一致。

ABSTRACT

Chinese traditional painting is one of the most historical artworks in the world. It is very popular in Eastern and Southeast Asia due to being aesthetically appealing. Compared with western artistic painting, it is usually more visually abstract and textureless. Recently, neural network based style transfer methods have shown promising and appealing results which are mainly focused on western painting. It remains a challenging problem to preserve abstraction in neural style transfer. In this paper, we present a Neural Abstract Style Transfer method for Chinese traditional painting. It learns to preserve abstraction and other style jointly end-to-end via a novel MXDoG-guided filter (Modified version of the eXtended Difference-of-Gaussians) and three fully differentiable loss terms. To the best of our knowledge, there is little work study on neural style transfer of Chinese traditional painting. To promote research on this direction, we collect a new dataset with diverse photo-realistic images and Chinese traditional paintings. In experiments, the proposed method shows more appealing stylized results in transferring the style of Chinese traditional painting than state-of-the-art neural style transfer methods.

研究动机与目标

• 解决利用神经风格迁移技术再现中国山水画抽象、无纹理风格的挑战。
• 改进现有神经风格迁移方法在保留中国画中稀疏、富有表现力笔触本质方面的不足。
• 设计一种损失函数，通过改进的高斯差分滤波器，同时强化内容完整性与抽象表达。
• 通过发布一个包含多样化写实图像与中国山水画的新数据集，推动该细分领域的研究发展。

提出的方法

• 引入一种改进的扩展高斯差分滤波器（MXDoG），用于从图像中提取抽象化的内容表征。
• 提出一种MXDoG内容损失，用于将风格化图像与输入图像经MXDoG滤波后的内容表征对齐。
• 引入一种基于MXDoG的内容一致性损失，用于对齐经MXDoG滤波后风格化图像与内容图像之间的表征。
• 引入一种风格一致性损失，确保经MXDoG滤波后的风格化图像与目标画作风格一致。
• 采用三种完全可微的损失项——MXDoG内容损失、内容一致性损失与风格一致性损失——支持通过随机梯度下降进行端到端训练。
• 采用深度神经网络架构，通过上述损失项端到端训练，生成体现中国画抽象、手绘特性的风格化输出。

实验结果

研究问题

• RQ1 如何调整神经风格迁移方法，以保留中国山水画中基于笔触的抽象风格？
• RQ2 哪些损失函数能有效促使风格化输出在内容与抽象化内容之间保持平衡？
• RQ3 改进的高斯差分滤波器是否能提升非写实艺术中神经风格迁移的抽象性与风格化保真度？
• RQ4 与当前最先进的神经风格迁移方法相比，该方法在用户偏好与视觉一致性方面表现如何？
• RQ5 当前神经风格迁移在处理中国画中明暗变化与语义抽象方面存在哪些局限性？

主要发现

• 所提方法生成的风格化图像在抽象性与与中国山水画视觉一致性的表现上，优于Fast-Neural-Style等基线方法。
• 用户研究表明，该方法在抽象性与风格体现方面获得明显偏好，尤其在无纹理、色彩较淡的风格图像上表现更优。
• 在纹理较少、色彩较淡的风格中，该方法在68%的案例中被评为“更抽象”，在65%的案例中被评为“更准确反映风格”。
• 该方法减少了山脉、树木等物体上的冗余笔触与边缘，使风格化输出更清晰、更自然。
• 尽管有所改进，模型在人类水平的抽象能力方面仍显不足，尤其在语义对应关系与明暗过渡处理上表现欠佳。
• 失败案例凸显了神经网络在处理复杂艺术风格时，仍需更强的语义理解与抽象能力。