[论文解读] Not Every Image is Worth a Thousand Words: Quantifying Originality in Stable Diffusion

Adi Haviv, Shahar Sarfaty+4 more|arXiv (Cornell University)|Aug 15, 2024

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出一种方法，通过测量重建图像所需的文本反转标记（textual inversion tokens）数量来量化文本到图像扩散模型中的原创性，所需标记越少，表示图像越熟悉、原创性越低。该方法将标记数量与概念新颖性相关联，表明原创图像需要更多标记进行重建，从而提供一种无需训练数据、基于模型内部的度量指标，与法律定义的原创性一致。

ABSTRACT

This work addresses the challenge of quantifying originality in text-to-image (T2I) generative diffusion models, with a focus on copyright originality. We begin by evaluating T2I models' ability to innovate and generalize through controlled experiments, revealing that stable diffusion models can effectively recreate unseen elements with sufficiently diverse training data. Then, our key insight is that concepts and combinations of image elements the model is familiar with, and saw more during training, are more concisly represented in the model's latent space. We hence propose a method that leverages textual inversion to measure the originality of an image based on the number of tokens required for its reconstruction by the model. Our approach is inspired by legal definitions of originality and aims to assess whether a model can produce original content without relying on specific prompts or having the training data of the model. We demonstrate our method using both a pre-trained stable diffusion model and a synthetic dataset, showing a correlation between the number of tokens and image originality. This work contributes to the understanding of originality in generative models and has implications for copyright infringement cases.

研究动机与目标

• 为解决在版权法背景下量化文本到图像扩散模型原创性的挑战。
• 开发一种无需访问训练数据或特定提示词即可评估原创性的方法。
• 使生成内容的评估与法律上对原创性的标准保持一致，强调创造力与作者身份。
• 证明通过潜在空间标记化衡量的模型熟悉度可作为原创性的代理指标。
• 为现实世界和合成应用中的生成式AI输出提供原创性与通用性审计的框架。

提出的方法

• 利用文本反转将图像内容编码为模型潜在空间中的一组紧凑可学习标记。
• 通过文本反转测量重建给定图像所需的标记数量，标记数量越多表示原创性越高。
• 使用预训练的Stable Diffusion模型和在合成数据上微调的模型，验证该方法在不同设置下的有效性。
• 利用合成数据集（形状、颜色、尺寸）和真实世界图像，将标记数量与图像原创性相关联。
• 应用DreamSim算法比较重建图像与原始图像，确保标记化过程的保真度与有效性。
• 该框架基于以下假设：在训练中频繁出现的概念可用更少的标记表示，反映出更低的原创性。

Figure 1 : Illustration of our approach for measuring image originality using multi-token textual inversion. Original images require more tokens for accurate reconstruction, while common images like Van Gogh’s ”Starry Night” need only one token.

实验结果

研究问题

• RQ1 能否在不访问训练数据的情况下，利用文本到图像扩散模型对生成图像的原创性进行定量评估？
• RQ2 重建图像所需的文本反转标记数量与图像的概念新颖性或原创性之间存在何种相关性？
• RQ3 模型对训练数据的熟悉度（通过标记数量反映）在多大程度上可预测图像是否为通用或原创？
• RQ4 该方法在多大程度上与强调最低限度创造力和作者身份的法律原创性定义保持一致？
• RQ5 基于标记数量的原创性度量在不同图像类型和模型架构下具有多强的鲁棒性？

主要发现

• 需要更多文本反转标记来重建的图像被认为更具原创性，因为它们代表了模型不熟悉或新颖的概念。
• 常见图像（如梵高的《星夜》）可用单个标记重建，表明模型熟悉度高且原创性低。
• 该方法在合成数据集和真实世界图像数据集上均成功将标记数量与原创性相关联，表现出一致的性能。
• 当使用多样化、多样的描述进行提示时，Stable Diffusion模型能很好地泛化到未见过的元素，支持其创新能力。
• 该框架提供了一种无需训练数据、与提示词无关的原创性评估方法，适用于法律和审计应用。
• 研究结果挑战了传统观点（即应尽量减少记忆化），表明在多样性与广度模型熟悉度之间取得平衡时，可增强原创性生成能力。

Figure 2 : Generalization experiments diagram on synthetic data. (i) We evaluate the relationship between data diversity and originality by running experiments over sets of distinct elements in increasing sizes. (ii) Examples of datasets synthesized from the respective element sets illustrate the va