[论文解读] Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction

Moritz Kassner, William Patera+1 more|arXiv (Cornell University)|Apr 30, 2014

Gaze Tracking and Assistive Technology参考文献 19被引用 130

一句话总结

Pupil 提供了一款开源、低成本且可扩展的移动眼动追踪平台，采用轻量化头戴设备，配备高分辨率场景相机与红外眼动相机，并结合跨平台软件框架，实现实时瞳孔检测、视线估计与数据可视化。该系统实现平均 0.6° 的视线精度与仅 0.045 秒的处理延迟，使日常环境中普遍、实时的基于视线的交互成为可能。

ABSTRACT

Commercial head-mounted eye trackers provide useful features to customers in industry and research but are expensive and rely on closed source hardware and software. This limits the application areas and use of mobile eye tracking to expert users and inhibits user-driven development, customisation, and extension. In this paper we present Pupil -- an accessible, affordable, and extensible open source platform for mobile eye tracking and gaze-based interaction. Pupil comprises 1) a light-weight headset with high-resolution cameras, 2) an open source software framework for mobile eye tracking, as well as 3) a graphical user interface (GUI) to playback and visualize video and gaze data. Pupil features high-resolution scene and eye cameras for monocular and binocular gaze estimation. The software and GUI are platform-independent and include state-of-the-art algorithms for real-time pupil detection and tracking, calibration, and accurate gaze estimation. Results of a performance evaluation show that Pupil can provide an average gaze estimation accuracy of 0.6 degree of visual angle (0.08 degree precision) with a latency of the processing pipeline of only 0.045 seconds.

研究动机与目标

• 解决商业头戴式眼动追踪设备成本高昂且为闭源的问题，以提升科研与产业领域中平台的可访问性与可扩展性。
• 开发一种可访问、低成本且可扩展的开源平台，实现在真实世界移动环境中的普遍眼动追踪。
• 通过开源软硬件设计，实现用户主导的开发、定制化以及社区驱动的创新。
• 在视线估计中实现高精度与低延迟，以支持实时应用。
• 通过模块化、平台无关且文档详尽的工具，支持多样化研究与应用领域。

提出的方法

• 系统采用轻量化 3D 打印头戴设备，配备高分辨率场景相机与红外眼动相机，实现暗瞳检测。
• Pupil Capture 软件通过 USB 2.0 处理视频流，实现实时瞳孔检测、视线映射与数据记录。
• 软件栈采用开源计算机视觉库，并支持实时插件，用于记录、流媒体传输与分析。
• Pupil 使用硬件时间戳确保时间精度，最大限度减少处理流水线中的延迟。
• 系统利用有限元分析（FEA）优化头戴设备的人体工学设计与佩戴状态下的相机对准。
• 软件框架具备平台独立性，包含校准、瞳孔追踪与视线估计的前沿算法。

实验结果

研究问题

• RQ1 开源、低成本的眼动追踪平台能否在精度与延迟方面达到与商业系统相当的性能？
• RQ2 开源软硬件如何提升移动眼动追踪在可访问性、可定制性与社区驱动开发方面的潜力？
• RQ3 使用消费级相机与开源计算机视觉流水线，可实现的视线估计精度与处理延迟水平如何？
• RQ4 该系统如何在实时环境中保持眼动与场景视频流之间的时间精度与同步？
• RQ5 模块化、用户可修改的软硬件在多大程度上能够支持普遍眼动追踪中多样化研究与应用需求？

主要发现

• Pupil 实现了平均 0.6° 视角的视线估计精度，标准差为 0.08°，展现出移动眼动追踪的高精度。
• 眼动处理流水线的总延迟为 0.045 秒（±0.003 秒），世界流延迟为 0.124 秒（±0.005 秒），支持实时视线交互。
• 系统通过使用硬件时间戳保持高时间精度，这对实时与事后处理应用中的准确同步至关重要。
• Pupil Capture 软件可在低功耗硬件（如 2010 年款 MacBook Air，2GB 内存）上高效运行，实现 30 fps 的瞳孔检测与 24 fps 的场景捕捉，性能稳定。
• 该平台支持实时数据广播，使用最新可用的眼动数据，优先考虑数据的时效性而非严格同步，这在实时应用中最为理想。
• 系统具备可扩展性与社区驱动特性，拥有活跃开发、详尽文档，以及通过论坛与开源代码库提供的支持。