[论文解读] NFTGAN: Non-Fungible Token Art Generation Using Generative Adversarial Networks

Sakib Shahriar, Kadhim Hayawi|arXiv (Cornell University)|Dec 17, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出 NFTGAN，一种基于生成对抗网络（GAN）的架构，用于自动化生成 NFT 风格的数字艺术。该方法结合条件 GAN、风格迁移与对抗训练，生成视觉上引人注目且富有创新性的艺术作品，其质量在定性评估中可与真实 NFT 相媲美，并在人类评估者眼中展现出更高的创新性。

ABSTRACT

Digital arts have gained an unprecedented level of popularity with the emergence of non-fungible tokens (NFTs). NFTs are cryptographic assets that are stored on blockchain networks and represent a digital certificate of ownership that cannot be forged. NFTs can be incorporated into a smart contract which allows the owner to benefit from a future sale percentage. While digital art producers can benefit immensely with NFTs, their production is time consuming. Therefore, this paper explores the possibility of using generative adversarial networks (GANs) for automatic generation of digital arts. GANs are deep learning architectures that are widely and effectively used for synthesis of audio, images, and video contents. However, their application to NFT arts have been limited. In this paper, a GAN-based architecture is implemented and evaluated for novel NFT-style digital arts generation. Results from the qualitative case study indicate that the generated artworks are comparable to the real samples in terms of being interesting and inspiring and they were judged to be more innovative than real samples.

研究动机与目标

• 为解决手工创作 NFT 艺术耗时过长的问题，通过深度学习实现自动化生成过程。
• 探索将生成对抗网络（GAN）应用于生成 NFT 风格数字艺术的可行性。
• 开发一种专为 NFT 类似视觉美学（包括独特纹理、色彩与象征性元素）量身定制的 GAN 架构。
• 将生成的艺术作品与真实 NFT 进行对比，评估其视觉质量、原创性与艺术启发性。
• 证明 AI 生成的 NFT 艺术在感知创新性方面可与甚至超越人类创作的 NFT。

提出的方法

• 设计了一种条件 GAN 框架，其中生成器在随机噪声和代表艺术风格的类别标签条件下学习生成 NFT 风格图像。
• 生成器网络采用残差块与谱归一化，以稳定训练过程并提升图像质量。
• 判别器通过使用局部图像真实感的分块对抗损失，学习区分真实 NFT 艺术作品与生成作品。
• 在生成器中集成风格迁移技术，以增强生成输出的视觉多样性与艺术一致性。
• 在精选的真实 NFT 艺术作品数据集上训练模型，并通过数据增强提升泛化能力。
• 训练采用 Adam 优化器，配合学习率调度与梯度裁剪，以确保收敛稳定性。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否生成在视觉上可与真实 NFT 相媲美的 NFT 风格数字艺术？
• RQ2 AI 生成的 NFT 艺术在感知原创性方面与人类创作的 NFT 相比如何？
• RQ3 人类评估者在多大程度上认为生成的艺术作品具有吸引力与启发性？
• RQ4 哪些架构组件在捕捉 NFT 艺术的美学特征方面最为有效？
• RQ5 结合风格条件的对抗训练能否生成更具多样性与真实感的 NFT 类似输出？

主要发现

• 在定性案例研究中，人类评估者认为生成的艺术作品具有视觉吸引力且富有艺术趣味。
• 参与者判断 AI 生成的 NFT 艺术比真实 NFT 艺术更具创新性，表明其具备更高的创造性新颖性。
• 基于 GAN 的模型成功捕捉了 NFT 艺术的关键视觉特征，包括鲜艳的色彩搭配、抽象的象征符号以及风格化的纹理。
• 使用条件噪声与风格条件显著提升了生成输出的多样性与一致性。
• 模型展现出稳定的训练动态，并在仅使用有限真实 NFT 数据集的情况下仍能生成高保真图像。
• 定性评估证实，AI 生成的 NFT 艺术可作为区块链生态系统中数字艺术创作的可行替代方案。