[论文解读] SEVA: Leveraging sketches to evaluate alignment between human and machine visual abstraction

Kushin Mukherjee, Holly Huey+5 more|arXiv (Cornell University)|Dec 5, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

SEVA 提出一个基准数据集，包含 90K 份由人类绘制的草图，涵盖 128 种物体概念，因时间限制导致草图稀疏程度各异，旨在评估机器视觉模型在多大程度上与人类视觉抽象保持一致。研究发现，尽管最先进模型在预测人类草图识别表现和不确定性模式方面优于基线模型，但在完全的行为一致性方面仍存在显著差距。

ABSTRACT

Sketching is a powerful tool for creating abstract images that are sparse but meaningful. Sketch understanding poses fundamental challenges for general-purpose vision algorithms because it requires robustness to the sparsity of sketches relative to natural visual inputs and because it demands tolerance for semantic ambiguity, as sketches can reliably evoke multiple meanings. While current vision algorithms have achieved high performance on a variety of visual tasks, it remains unclear to what extent they understand sketches in a human-like way. Here we introduce SEVA, a new benchmark dataset containing approximately 90K human-generated sketches of 128 object concepts produced under different time constraints, and thus systematically varying in sparsity. We evaluated a suite of state-of-the-art vision algorithms on their ability to correctly identify the target concept depicted in these sketches and to generate responses that are strongly aligned with human response patterns on the same sketch recognition task. We found that vision algorithms that better predicted human sketch recognition performance also better approximated human uncertainty about sketch meaning, but there remains a sizable gap between model and human response patterns. To explore the potential of models that emulate human visual abstraction in generative tasks, we conducted further evaluations of a recently developed sketch generation algorithm (Vinker et al., 2022) capable of generating sketches that vary in sparsity. We hope that public release of this dataset and evaluation protocol will catalyze progress towards algorithms with enhanced capacities for human-like visual abstraction.

研究动机与目标

• 开发一个标准化基准，用于评估机器视觉模型在多大程度上理解自由绘制草图，且其理解方式与人类视觉抽象保持一致。
• 探究最先进视觉模型在草图识别中复制人类响应模式的程度，包括对草图稀疏性和语义模糊性的敏感度。
• 探索模拟人类视觉抽象的模型在生成任务中的潜力，特别是控制稀疏度的草图生成。
• 提供一个公开数据集和评估协议，以支持统一类人视觉抽象计算理论的发展。
• 识别模型与人类在草图理解方面的差距，特别是在不确定性与语境解释方面。

提出的方法

• 使用基于网络的数字界面，在不同时间限制下收集约 90,000 份针对 128 种物体概念的人类绘制草图，以系统性地引入草图稀疏度的变化。
• 在草图绘制过程中记录详细的笔画级动态信息（如时间、顺序、压力），以捕捉逐时决策过程。
• 使用该数据集评估最先进视觉模型在草图识别任务中的表现，以衡量其与人类响应模式的一致性。
• 不仅衡量模型的准确率，还评估其预测人类在不同草图抽象水平下不确定性与响应变异性能力。
• 对一个草图生成模型（CLIPasso）进行额外评估，以检验其生成与人类类抽象模式一致的草图的能力。
• 建立一个公开基准，配备标准化评估协议，以支持模型间及未来研究的可复现比较。

实验结果

研究问题

• RQ1 最先进视觉模型在识别不同稀疏度草图时，能在多大程度上复制人类响应模式？
• RQ2 与人类行为相比，视觉模型在预测人类对模糊或稀疏草图意义的不确定性方面表现如何？
• RQ3 生成模型能否在稀疏度和可解释性方面生成与人类视觉抽象模式一致的草图？
• RQ4 在不同抽象水平下，最佳性能模型与人类一致性基线在草图识别中的性能差距有多大？
• RQ5 输入模态（如鼠标与触控笔）、文化背景和艺术训练如何影响草图绘制与识别行为？模型如何应对这些差异？

主要发现

• 能够更好预测人类草图识别表现的视觉模型，也表现出更强的人类不确定性模式对齐，表明其对语义模糊性的建模能力有所提升。
• 尽管在草图识别任务中准确率很高，即使是最先进的模型在处理稀疏和模糊草图时仍未能达到人类一致性基线水平。
• 该数据集揭示了因时间限制导致的系统性草图稀疏度变化，且在不同抽象水平下人类识别模式存在明显区分。
• 在自然图像上训练的模型仍缺乏与人类视觉抽象的完整表征对齐，尤其在泛化到草图分布时表现不足。
• CLIPasso 草图生成模型在生成类人抽象方面展现出潜力，但其输出在关键方面仍与人类绘图行为存在偏差。
• 本研究凸显了模型与人类在行为一致性方面持续存在的差距，尤其是在草图解释过程中对不确定性和语境的处理方式上。