[论文解读] Optical Illusions Images Dataset

Robert Max Williams, Roman V. Yampolskiy|arXiv (Cornell University)|Sep 30, 2018

Advanced Vision and Imaging参考文献 3被引用 8

一句话总结

本文提出一个包含6,725张光学错觉图像的数据集，数据来自两个主要网站，并附上经过精心挑选的500张图像子集，以推动计算机视觉与人类知觉研究。研究结果表明，迁移学习分类器在区分错觉类别方面优于随机猜测，但标准生成对抗网络（GAN）无法生成有意义的错觉，凸显了对人类视觉处理机制更深层次建模的必要性。

ABSTRACT

Human vision is capable of performing many tasks not optimized for in its long evolution. Reading text and identifying artificial objects such as road signs are both tasks that mammalian brains never encountered in the wild but are very easy for us to perform. However, humans have discovered many very specific tricks that cause us to misjudge color, size, alignment and movement of what we are looking at. A better understanding of these phenomenon could reveal insights into how human perception achieves these feats. In this paper we present a dataset of 6725 illusion images gathered from two websites, and a smaller dataset of 500 hand-picked images. We will discuss the process of collecting this data, models trained on it, and the work that needs to be done to make it of value to computer vision researchers.

研究动机与目标

• 创建一个全面、公开可访问的静态光学错觉图像数据集，用于计算机视觉与知觉研究。
• 评估现有机器学习模型是否能够识别并泛化不同类型的光学错觉。
• 探究当前生成模型（如GAN）在学习生成新颖、类人错觉方面的局限性。
• 探索是否可训练人工系统以类似于人类视觉感知的方式感知错觉。
• 识别当前深度学习方法在建模人类视觉错觉方面的不足，并提出未来研究方向。

提出的方法

• 使用网络爬虫从Mighty Optical Illusions和ViperLib分别收集6,436张和1,454张图像，保留类别、页面标题等元数据。
• 构建一个包含500张精心挑选的图像子集，其视觉效果强烈且明确，用于聚焦分析。
• 使用在错觉类别上微调的预训练“瓶颈”模型，利用来自更大通用图像数据集的特征，训练一个迁移学习分类器。
• 在未进行超参数调优的情况下，使用HyperGAN在数据子集上尝试训练GAN，输入为随机噪声向量。
• 通过混淆矩阵和训练过程可视化评估模型性能，以衡量分类与生成质量。
• 提出未来方法，如引入人类反馈或使用人类视觉代理进行训练，以改进错觉生成。

实验结果

研究问题

• RQ1 基于通用图像特征训练的深度学习分类器，能否有效区分不同类型的光学错觉？
• RQ2 标准GAN架构在有限的静态图像数据集上，能在多大程度上生成新颖且逼真的光学错觉？
• RQ3 为何标准生成模型在训练数据集包含显著感知特征图像的情况下，仍无法生成有意义的错觉？
• RQ4 人类反馈或人类视觉代理在使人工系统学习创建或感知错觉方面发挥何种作用？
• RQ5 光学错觉的结构与感知特性如何限制当前深度生成模型的应用？

主要发现

• 迁移学习分类器在区分错觉类别方面实现了显著优于随机的性能，表明错觉的视觉特征可被深度神经网络检测到。
• 分类器的混淆矩阵显示出有意义的预测聚类，表明模型已学会将特定视觉模式与错觉类型关联。
• 在数据子集上训练的GAN在7小时训练后未能生成连贯或多样化的类错觉图像，生成图像变化极小且无明显错觉效应。
• GAN训练过程显示生成输出缺乏多样性，表明即使使用标准训练流程，仍存在模式崩溃或优化不佳的问题。
• GAN无法生成错觉的事实表明，当前生成模型缺乏对人类视觉错觉感知原理的理解。
• 数据集规模较小且错觉类型种类有限——可能仅有几十种独特类别——这给训练高效生成模型带来了重大挑战。