[论文解读] Towards Co-Creative Generative Adversarial Networks for Fashion Designers

Imke Grabe, Jichen Zhu|arXiv (Cornell University)|Apr 19, 2023

Aesthetic Perception and AnalysisNeuroscience参考文献 29被引用 3

一句话总结

本文提出了一种基于生成对抗网络（GANs）的协同创作框架，通过整合混合主动性协同创作原则与GAN潜在空间操作，实现时尚设计师的协同创作。该框架引入了五种交互模式——探索、演化、条件控制、重写与风格引导，支持在时尚设计中实现迭代性、有意图的人机协同，重点通过自适应、交互式的GAN界面提升创造力与多样性。

ABSTRACT

Originating from the premise that Generative Adversarial Networks (GANs) enrich creative processes rather than diluting them, we describe an ongoing PhD project that proposes to study GANs in a co-creative context. By asking How can GANs be applied in co-creation, and in doing so, how can they contribute to fashion design processes? the project sets out to investigate co-creative GAN applications and further develop them for the specific application area of fashion design. We do so by drawing on the field of mixed-initiative co-creation. Combined with the technical insight into GANs' functioning, we aim to understand how their algorithmic properties translate into interactive interfaces for co-creation and propose new interactions.

研究动机与目标

• 探究生成对抗网络（GANs）如何在协同创作的时尚设计过程中实现有意义的应用，超越被动生成，实现主动协作。
• 通过基于算法洞察与人类感知的交互界面，弥合非专家用户与复杂GAN架构之间的知识鸿沟。
• 探索GAN如何超越静态条件控制，通过实现动态、迭代的交互模式（如重写）使模型能够从人类反馈中学习。
• 研究GAN潜在空间的纠缠性与非线性语义对时尚设计输出中创造性控制与多样性的影响。
• 通过支持时尚设计师批判性评估并影响训练数据集中的数据偏差，促进设计的包容性，特别是针对体型多样性与代表性问题。

提出的方法

• 采用混合主动性协同创作作为理论框架，将基于GAN的交互映射为五种不同的交互模式：探索、演化、条件控制、重写与风格引导。
• 利用潜在空间插值与解缠技术（例如感知路径长度、线性可分性），实现对生成时尚设计的交互式导航与语义编辑。
• 通过文本、草图及基于损失的约束（如颜色、纹理、形状）实现条件生成，使设计师能够以高层次设计意图引导GAN输出。
• 提出“重写”作为新型交互模式，基于人类反馈对GAN权重进行微调，使AI在协同创作过程中随时间推移适应并调整其行为。
• 使用GANLab与交互式遗传算法等工具，对高维潜在空间探索进行原型设计与评估，涵盖低分辨率与高分辨率设计场景。
• 整合风格识别模型，实现无监督风格发现与引导，可能揭示机器对时尚审美的特定理解。

Figure 1. We present the four primary interaction patterns Curating , Exploring , Evolving , and Conditioning we identified as part of our preliminary framework (Grabe et al . , 2022a ) . We suggest a fifth pattern, Rewriting , for discussion.

实验结果

研究问题

• RQ1 GAN应如何构建以支持在时尚设计中实现迭代性、交互式的协同创作，而非单向生成？
• RQ2 实现有意图、有意识的人机协同创作在时尚设计中，其算法与界面设计需求是什么？
• RQ3 GAN特有的属性（如潜在空间纠缠性与非线性语义）如何转化为设计师可操作的切实交互模式？
• RQ4 在协同创作过程中，GAN应如何通过权重更新等方式进行适应，以反映设计师偏好并随时间演化？
• RQ5 如何设计基于GAN的协同创作系统，以支持时尚设计中的多样性与包容性，特别是关于体型与文化代表性的方面？

主要发现

• 本研究识别出五种不同的交互模式——探索、演化、条件控制、重写与风格引导，这些模式共同构建了基于GAN的时尚设计中的人机协同结构。
• 潜在空间插值与解缠技术使设计师能够通过感知路径导航与操控时尚设计，实现一种交互式探索形式。
• “重写”模式通过基于人类反馈更新GAN权重，引入了一种新型协同创作模式，使AI能够随时间学习并响应设计师的输入。
• 通过文本、草图或损失函数实现的条件生成可支持高层次设计约束，但此类方法在缺乏迭代反馈的情况下仍局限于单向条件控制。
• 利用无监督风格识别模型实现的风格引导可能揭示机器对时尚的特定理解，提示出新型AI驱动的审美认知形式。
• 本研究强调了在训练数据集中解决数据偏差的重要性，以确保设计结果在轮廓与体型表现方面更具多样性与包容性。