[论文解读] Visual Decoding of Targets During Visual Search From Human Eye Fixations

Hosnieh Sattar, Mario Fritz+1 more|arXiv (Cornell University)|Jun 19, 2017

Gaze Tracking and Assistive Technology参考文献 7被引用 4

一句话总结

本论文提出了一种仅通过眼动固定数据即可视觉解码用户心理搜索目标的首个方法，采用注视池化编码器提取语义特征，并利用条件生成模型重建目标图像。该方法在人类对解码目标的识别中达到62%的准确率，远超随机水平（10%），并证明了局部注视信息对准确重建至关重要。

ABSTRACT

What does human gaze reveal about a users' intents and to which extend can these intents be inferred or even visualized? Gaze was proposed as an implicit source of information to predict the target of visual search and, more recently, to predict the object class and attributes of the search target. In this work, we go one step further and investigate the feasibility of combining recent advances in encoding human gaze information using deep convolutional neural networks with the power of generative image models to visually decode, i.e. create a visual representation of, the search target. Such visual decoding is challenging for two reasons: 1) the search target only resides in the user's mind as a subjective visual pattern, and can most often not even be described verbally by the person, and 2) it is, as of yet, unclear if gaze fixations contain sufficient information for this task at all. We show, for the first time, that visual representations of search targets can indeed be decoded only from human gaze fixations. We propose to first encode fixations into a semantic representation and then decode this representation into an image. We evaluate our method on a recent gaze dataset of 14 participants searching for clothing in image collages and validate the model's predictions using two human studies. Our results show that 62% (Chance level = 10%) of the time users were able to select the categories of the decoded image right. In our second studies we show the importance of a local gaze encoding for decoding visual search targets of user

研究动机与目标

• 探究是否能仅从人类眼动固定数据中重建视觉搜索目标——这类心理表征本身并非直接可观测。
• 探索将深度注视编码与条件图像生成相结合，以生成具有感知意义的搜索目标视觉重建的可行性。
• 评估局部注视信息（固定点位置）与全局注视模式（仅固定存在与否）在目标重建中的重要性。
• 建立一种实用方法，通过利用预训练模型和共享语义表征层，避免收集大规模昂贵的眼动数据集。

提出的方法

• 使用注视池化层将注视序列编码为语义嵌入，捕捉注视的空间与时间动态特征。
• 将编码后的注视表征迁移至基于大规模图像语料库训练的条件生成模型（如条件GAN或VAE）中，以生成图像样本。
• 以从注视固定中提取的语义嵌入为条件，生成目标物体的图像重建。
• 在大规模图像数据集上独立训练注视编码器与图像生成器，通过语义层实现在不同表征之间的跨模态迁移。
• 比较两种解码策略：一种使用完整的固定点位置（局部），另一种仅使用固定存在与否（全局），以分离空间精度的贡献。
• 通过人类评估研究验证生成图像的视觉质量与可识别性。

实验结果

研究问题

• RQ1 尽管视觉搜索目标是主观的心理表征，是否仍能仅从人类眼动固定数据中实现其视觉解码？
• RQ2 与全局注视模式相比，局部注视信息（固定点位置）在多大程度上提升了解码目标的质量与可识别性？
• RQ3 人类观察者在从注视解码图像中识别正确目标类别的准确率如何？该性能是否显著高于随机水平？
• RQ4 能否开发一种实用且数据高效的方案，通过利用预训练模型和共享语义空间，避免收集大规模眼动数据集？

主要发现

• 所提方法成功从眼动固定数据中解码视觉搜索目标，人类识别准确率达62%，远超10%的随机水平。
• 用户在65%的案例中更偏好局部注视编码方法，且差异具有统计学显著性（p = 0.009）。
• 混淆主要发生在视觉相似的服装类别之间，如连衣裙/衬衫与夹克/开衫，表明在细粒度属性区分上存在挑战。
• 局部注视编码方法在个体用户中的准确率更高（如P1为80%），而全局方法则较低（如P1为20%），凸显了空间固定信息的重要性。
• 模型在不同参与者中表现稳健，对牛仔裤、短裤和连衣裙等类别具有高置信度，表明对某些物体类别具有更好的泛化能力。
• 共享语义层的使用实现了注视编码与图像生成之间的有效迁移，且无需大规模专用眼动训练数据。