[论文解读] Perspective (In)consistency of Paint by Text

Hany Farid|arXiv (Cornell University)|Jun 27, 2022

3D Surveying and Cultural Heritage被引用 12

一句话总结

本文通过基于物理的几何法医学分析，研究 DALL·E-2 生成图像中的视角不一致性，发现尽管该模型能生成视觉上逼真的图像，却经常无法保持一致的视角、阴影和反射几何结构。尽管局部看起来合理，但阴影和反射中的全局几何不一致性提供了检测 AI 生成媒体的法医学指标。

ABSTRACT

Type "a sea otter with a pearl earring by Johannes Vermeer" or "a photo of a teddy bear on a skateboard in Times Square" into OpenAI's DALL-E-2 paint-by-text synthesis engine and you will not be disappointed by the delightful and eerily pertinent results. The ability to synthesize highly realistic images -- with seemingly no limitation other than our imagination -- is sure to yield many exciting and creative applications. These images are also likely to pose new challenges to the photo-forensic community. Motivated by the fact that paint by text is not based on explicit geometric modeling, and the human visual system's often obliviousness to even glaring geometric inconsistencies, we provide an initial exploration of the perspective consistency of DALL-E-2 synthesized images to determine if geometric-based forensic analyses will prove fruitful in detecting this new breed of synthetic media.

研究动机与目标

• 评估 DALL·E-2 生成的图像在视角、阴影和反射方面是否表现出几何不一致性。
• 确定这些不一致性是否可用于 AI 生成媒体的图像法医学分析。
• 评估文本到图像模型在缺乏显式 3D 监督的情况下对 3D 场景几何建模的局限性。
• 探讨是否可利用人类对几何缺陷的视觉不敏感性，使未来模型更易逃避检测。

提出的方法

• 应用视角几何分析，通过消失点和消失线检测 3D 到 2D 投影中的不一致性。
• 通过测试在单一光源下，物体到阴影的约束是否交于同一点，来评估投射阴影的一致性。
• 通过检查物体位置与其镜像对应物之间的几何一致性，分析反射。
• 每条提示使用 25 张合成图像的集合，以评估多次运行中故障的统计模式。
• 将图像转换为灰度并旋转，以在分析过程中增强几何约束的可见性。
• 在不同光照条件（例如晴天与阴天）下比较结果，以评估环境一致性。

实验结果

研究问题

• RQ1 DALL·E-2 生成的图像在 3D 结构中多大程度上保持了视角几何的一致性？
• RQ2 DALL·E-2 生成的图像中的投射阴影是否与单一光源和物体位置在几何上保持一致？
• RQ3 DALL·E-2 生成的图像中的反射在多大程度上符合反射物理定律和场景几何？
• RQ4 阴影和反射中的几何不一致性能否作为检测 AI 生成图像的可靠法医指标？
• RQ5 为何在 DALL·E-2 输出中，反射的不一致性比阴影或结构几何更频繁？

主要发现

• 在所有 25 张分析的 DALL·E-2 生成图像中，均发现单一光源下物体到阴影的约束不相交，表现出一致的几何不一致性。
• 阴影的形状和位置即使在视觉上看似合理，也常常与场景的 3D 几何结构不一致。
• DALL·E-2 生成图像中的反射经常与场景脱节且几何上不一致，仅 3 张图像（共 25 张）表现出任何可接受的对齐。
• 该模型对视角几何有基本理解，但未能在多个场景元素之间强制实现全局一致性。
• 尽管视觉逼真度高，但由于缺乏显式 3D 建模，导致阴影和反射的物理准确渲染失败。
• 反射不一致的原因可能是其在训练数据中相对稀少，导致模型更难准确学习。