[论文解读] Quantifying Confounding Bias in Generative Art: A Case Study

Ramya Srinivasan, Kanji Uchino|arXiv (Cornell University)|Feb 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 4

一句话总结

本文提出一种基于有向无环图（DAG）的因果度量方法，用于量化在风格迁移过程中未建模艺术流派时，人工智能生成艺术中的混淆偏差。将该度量方法应用于cycleGAN时，其在识别未建模的社会文化影响所导致的偏差方面优于当前最先进的异常检测方法，揭示了忽略艺术流派会导致艺术家风格呈现刻板化、不完整的问题。

ABSTRACT

In recent years, AI generated art has become very popular. From generating art works in the style of famous artists like Paul Cezanne and Claude Monet to simulating styles of art movements like Ukiyo-e, a variety of creative applications have been explored using AI. Looking from an art historical perspective, these applications raise some ethical questions. Can AI model artists' styles without stereotyping them? Does AI do justice to the socio-cultural nuances of art movements? In this work, we take a first step towards analyzing these issues. Leveraging directed acyclic graphs to represent potential process of art creation, we propose a simple metric to quantify confounding bias due to the lack of modeling the influence of art movements in learning artists' styles. As a case study, we consider the popular cycleGAN model and analyze confounding bias across various genres. The proposed metric is more effective than state-of-the-art outlier detection method in understanding the influence of art movements in artworks. We hope our work will elucidate important shortcomings of computationally modeling artists' styles and trigger discussions related to accountability of AI generated art.

研究动机与目标

• 探究未建模的艺术流派如何在人工智能生成艺术中引入混淆偏差。
• 开发一种定量度量方法，用于衡量艺术流派影响缺失在风格建模中导致的偏差。
• 评估当前生成模型（如cycleGAN）是否未能捕捉艺术家风格中的社会文化细微差别。
• 探讨此类偏差对人工智能生成作品的真伪性、估值以及艺术史理解的影响。

提出的方法

• 构建有向无环图（DAG），以建模艺术流派、艺术家与作品特征之间的因果关系。
• 基于当艺术流派未被观测时，预测风格特征与期望值之间的偏离程度，定义混淆偏差度量。
• 将该度量应用于不同体裁的cycleGAN生成图像，基于DAG结构的因果依赖假设。
• 将分层损失最小化作为训练基线，用于比较偏差得分。
• 将该度量与最先进的异常检测方法进行对比验证，以评估其在识别混淆输出方面的有效性。
• 提出该度量作为真实性评估、定价和艺术史分析的工具，通过量化文化与风格一致性来实现。

实验结果

研究问题

• RQ1 艺术流派建模的缺失如何在人工智能生成艺术中引入混淆偏差？
• RQ2 所提出的度量方法在多大程度上比现有异常检测方法更有效地检测偏差？
• RQ3 该度量能否作为人工智能生成艺术品中真实性或文化一致性的代理指标？
• RQ4 不同艺术体裁（如印象派与后印象派）在混淆偏差的易感性上存在哪些差异？
• RQ5 偏差得分在哪些方面可为艺术估值或支持艺术史研究提供信息？

主要发现

• 所提出的混淆偏差度量在识别未建模艺术流派对生成作品影响方面，优于当前最先进的异常检测方法。
• 当艺术流派未被纳入建模过程时，艺术家风格系统性地被误述，导致基于颜色和笔触等表面特征的刻板化输出。
• 该偏差度量揭示，当未考虑艺术流派时，cycleGAN生成的艺术作品在印象派和后印象派等体裁中表现出更高的混淆偏差。
• 该度量可作为艺术真伪鉴定的补充工具，较低的偏差得分与更可能生成真实艺术家风格的作品相关。
• 该度量为评估人工智能生成艺术的文化与历史一致性提供了定量基础，支持在创意应用中实现更负责任的人工智能。
• 艺术史学家可利用该度量，通过在DAG中编码其假设并分析生成的偏差得分，来比较和验证关于艺术流派的不同观点。