[论文解读] Synthesis of Batik Motifs using a Diffusion -- Generative Adversarial Network

One Octadion, Novanto Yudistira+1 more|arXiv (Cornell University)|Jul 22, 2023

Cultural and Artistic StudiesSocial Sciences被引用 3

一句话总结

本文提出了一种结合StyleGAN2-ADA与扩散技术的扩散生成对抗网络（Diffusion-GAN），用于生成高质量、逼真的巴蒂克纹样。通过利用精心筛选的多样化巴蒂克数据集并优化损失函数——尤其是Wasserstein损失——该模型生成了真实、精细且艺术风格多样的图案，Fréchet Inception Distance（FID）得分为29.045，表明其在美学质量与多样性方面优于基线GAN模型。

ABSTRACT

Batik, a unique blend of art and craftsmanship, is a distinct artistic and technological creation for Indonesian society. Research on batik motifs is primarily focused on classification. However, further studies may extend to the synthesis of batik patterns. Generative Adversarial Networks (GANs) have been an important deep learning model for generating synthetic data, but often face challenges in the stability and consistency of results. This research focuses on the use of StyleGAN2-Ada and Diffusion techniques to produce realistic and high-quality synthetic batik patterns. StyleGAN2-Ada is a variation of the GAN model that separates the style and content aspects in an image, whereas diffusion techniques introduce random noise into the data. In the context of batik, StyleGAN2-Ada and Diffusion are used to produce realistic synthetic batik patterns. This study also made adjustments to the model architecture and used a well-curated batik dataset. The main goal is to assist batik designers or craftsmen in producing unique and quality batik motifs with efficient production time and costs. Based on qualitative and quantitative evaluations, the results show that the model tested is capable of producing authentic and quality batik patterns, with finer details and rich artistic variations. The dataset and code can be accessed here:https://github.com/octadion/diffusion-stylegan2-ada-pytorch

研究动机与目标

• 解决巴蒂克纹样生成研究中除分类之外的不足。
• 通过整合扩散技术，提升基于GAN的巴蒂克生成在稳定性和质量方面的表现。
• 使巴蒂克设计师能够高效生成独特、高质量的纹样，从而减少时间和成本。
• 评估损失函数（Wasserstein与StyleGAN2-ADA）以及数据集质量对生成结果的影响。
• 为未来文化AI研究贡献一个公开可用的代码库与数据集。

提出的方法

• 该模型结合了StyleGAN2-ADA（通过解耦风格与内容实现细粒度控制）与扩散过程（通过逐步添加和去除噪声以提升样本质量）。
• 使用了一个精心筛选的、高质量的巴蒂克数据集，其中包含多样化的纹样与色彩变化，以增强模型学习真实图案的能力。
• 生成器通过最小化对抗损失来学习生成逼真的巴蒂克图像，而判别器则在多个噪声水平下区分真实样本与生成样本。
• 应用了差异增强技术，通过在输入传入判别器前进行修改，以提高数据效率并减少过拟合。
• 采用两种损失函数进行训练：Wasserstein GAN损失与StyleGAN2-ADA的标准非饱和损失，从而实现对输出质量与结构的对比分析。
• 采用了自适应扩散策略，在每个扩散步骤中调整噪声与数据的比例，以提升对不同噪声水平的鲁棒性。

实验结果

研究问题

• RQ1 扩散生成对抗网络（Diffusion-GAN）能否有效生成高美学质量、多样化且逼真的巴蒂克纹样？
• RQ2 损失函数的选择（Wasserstein与StyleGAN2-ADA）如何影响生成巴蒂克图案的结构规整性与新颖性？
• RQ3 数据集的质量与多样性在多大程度上影响生成巴蒂克纹样的性能与真实性？
• RQ4 扩散技术的整合如何提升基于GAN的巴蒂克生成在训练稳定性与样本保真度方面的表现？
• RQ5 所提出的模型能否在生成细节丰富、文化上真实可信的巴蒂克图案方面超越标准GAN？

主要发现

• 该模型实现了29.045的Fréchet Inception Distance（FID）得分，表明其在巴蒂克纹样的质量与多样性方面表现优异。
• 采用Wasserstein损失生成的纹样更具新颖性与多样性，但其排列不如StyleGAN2-ADA损失生成的纹样规整。
• StyleGAN2-ADA损失生成的纹样具有更好的结构一致性和规整性，更符合传统审美标准。
• 高质量且多样化的数据集显著提升了生成巴蒂克图案的真实感与艺术保真度。
• 扩散技术的整合提升了训练稳定性，并增强了模型在不同噪声水平与数据变化下的泛化能力。
• 所提出的Diffusion-GAN模型在生成细节丰富、真实可信且艺术性丰富的巴蒂克纹样方面，优于基线GAN模型。