[论文解读] SideEye: A Generative Neural Network Based Simulator of Human Peripheral Vision

Lex Fridman, Benedikt Jenik+4 more|arXiv (Cornell University)|Jun 14, 2017

Advanced Vision and Imaging参考文献 31被引用 10

一句话总结

本文提出 SideEye，一种生成式神经网络（FGN），其推理速度比以往经过行为验证的模型快 21,000 倍，可模拟人类周边视觉。通过在基于纹理统计的全视野合成模型上端到端训练，FGN 实现了实时周边视觉模拟（每张图像 0.7 秒，对比以往的 4.2 小时），使用户界面设计、可用性测试和标志识别分析等实际应用成为可能。

ABSTRACT

Foveal vision makes up less than 1% of the visual field. The other 99% is peripheral vision. Precisely what human beings see in the periphery is both obvious and mysterious in that we see it with our own eyes but can't visualize what we see, except in controlled lab experiments. Degradation of information in the periphery is far more complex than what might be mimicked with a radial blur. Rather, behaviorally-validated models hypothesize that peripheral vision measures a large number of local texture statistics in pooling regions that overlap and grow with eccentricity. In this work, we develop a new method for peripheral vision simulation by training a generative neural network on a behaviorally-validated full-field synthesis model. By achieving a 21,000 fold reduction in running time, our approach is the first to combine realism and speed of peripheral vision simulation to a degree that provides a whole new way to approach visual design: through peripheral visualization.

研究动机与目标

• 开发一种快速且逼真的周边视觉模拟方法，其效果与经过行为验证的模型一致。
• 将周边视觉可视化的时间从数小时缩短至毫秒级，以实现设计与人机交互研究中的实际应用。
• 实现实时的中心聚焦图像生成，用于动态设计探索与可用性评估。
• 为设计师与研究人员提供一种工具，用于预测用户在杂乱或复杂视觉场景中的一瞥所见。
• 通过支持高吞吐量的中心聚焦图像生成，扩展现有周边视觉模型的实用性，适用于行为测试与虚拟现实应用。

提出的方法

• 中心聚焦生成网络（FGN）通过端到端训练，将全视野图像映射为符合人类周边视觉统计特性的中心聚焦输出。
• FGN 从使用纹理迁移模型（TTM）生成的大规模图像数据集学习，TTM 是一种基于高阶梯度区域重叠池化的、经过行为验证的全视野合成方法。
• 网络架构结合了空间中心聚焦机制，即中心区域保持清晰，而周边区域根据学习到的纹理统计特性逐步退化。
• 训练采用感知损失函数，使 FGN 输出与 TTM 生成的中心聚焦图像对齐，确保生物合理性。
• 通过学习到的映射关系实现实时推理，支持动态注视点的交互式可视化。
• SideEye 在线工具允许用户上传设计稿，并基于选定的注视点即时可视化其在周边视觉中的呈现效果。

实验结果

研究问题

• RQ1 是否可以训练一个深度生成网络，以高感知保真度准确模拟人类周边视觉？
• RQ2 学习到的模型在多大程度上能降低中心聚焦图像生成的计算成本，同时保持逼真度？
• RQ3 FGN 在预测人类在现实视觉任务（如标志识别与界面可用性）中的感知表现方面有多有效？
• RQ4 实时周边视觉模拟是否能为人机交互与用户体验研究带来新的设计与评估工作流？
• RQ5 该模型在多样化的视觉刺激（包括复杂场景及文本、图标等符号元素）上的性能表现如何？

主要发现

• FGN 实现了 21,000 倍的运行时间减少，将单张图像的推理时间从 4.2 小时缩短至 0.7 秒。
• FGN 生成的中心聚焦图像在感知上与行为验证的 TTM 模型生成结果一致，可实现可靠的周边视觉模拟。
• SideEye 工具支持实时周边视觉感知可视化，有助于动态设计迭代与界面布局的 A/B 测试。
• 在一项案例研究中，模型预测重新设计的网站布局提升了关键元素（如行动号召按钮）的显著性，该预测与更高的用户点击率相关。
• 标志分析显示，Spotify、Airbnb 和 Google 的新版本标志在周边视觉中比旧版或重新设计的版本（如 eBay 和星巴克）具有更好的可识别性。
• 该模型可通过基于实验中用户注视模式实时生成数百张中心聚焦图像，支持快速行为评估。