[论文解读] TobiiGlassesPySuite: An open-source suite for using the Tobii Pro Glasses 2 in eye-tracking studies

Davide De Tommaso, Agnieszka Wykowska|arXiv (Cornell University)|Dec 19, 2019

Gaze Tracking and Assistive Technology参考文献 28被引用 8

一句话总结

本文介绍了 TobiiGlassesPySuite，这是一个开源的 Python 软件包，使研究人员能够控制 Tobii Pro Glasses 2 可穿戴眼动仪，管理录制数据，实时流式传输视频和眼动数据，并以 CSV 格式导出处理后的眼动追踪数据。该套件通过抽象低层级 API 的复杂性，并提供模块化、跨平台的工具用于数据采集、校准和分析，从而提升了设备在自定义眼动追踪实验中的可用性，且遵循 GNU GPL v3.0 许可证。

ABSTRACT

In this paper we present the TobiiGlassesPySuite, an open-source suite we implemented for using the Tobii Pro Glasses 2 wearable eye-tracker in custom eye-tracking studies. We provide a platform-independent solution for controlling the device and for managing the recordings. The software consists of Python modules, integrated into a single package, accompanied by sample scripts and recordings. The proposed solution aims at providing additional methods with respect to the manufacturer's software, for allowing the users to exploit more the device's capabilities and the existing software. Our suite is available for download from the repository indicated in the paper and usable according to the terms of the GNU GPL v3.0 license.

研究动机与目标

• 解决制造商软件在支持 Tobii Pro Glasses 2 自定义眼动追踪实验方面的局限性。
• 提供一种跨平台、基于 Python 的解决方案，以抽象低层级设备控制和数据处理，便于研究人员使用。
• 通过支持对眼动数据、实时视频和事件日志的程序化访问，将 Tobii Pro Glasses 2 的功能扩展至标准用途之外。
• 支持研究人员将可穿戴眼动仪集成到复杂的实验设置中，使用可重用的模块化代码。
• 通过标准化、开源的工具，促进数据导出、注视点检测和可视化。

提出的方法

• 该套件实现为一个单一的 Python 软件包，包含用于设备控制、数据流式传输和录制管理的模块化组件。
• 它使用 Tobii Pro Glasses 2 API 来控制设备功能，例如启动/停止数据流式传输和管理校准过程。
• 通过设备上运行的 RTSP 服务器访问实时场景视频，使用 OpenCV 实现实时显示和处理视频流。
• 眼动数据以 Python 字典形式收集并存储，提供方法以使用 I-DT 滤波器导出原始数据和检测到的注视点。
• 可通过 JSON 对象在录制过程中发送自定义事件，日志可保存为 CSV 文件，或与 Tobii Pro Lab 软件集成以增强分析能力。
• 该套件包含用于项目设置、校准、录制和数据导出的示例脚本，支持对 SD 卡存储录制文件的完整路径访问。

实验结果

研究问题

• RQ1 研究人员如何将 Tobii Pro Glasses 2 的功能扩展至制造商软件能力之外？
• RQ2 在移动、以用户为中心的眼动追踪研究中，使用可穿戴眼动仪面临哪些关键挑战？
• RQ3 标准化、开源的软件套件如何改善眼动追踪实验中的数据访问、校准和录制管理？
• RQ4 在可穿戴眼动追踪系统中，如何实现高效的实时视频与眼动数据同步？
• RQ5 在研究环境中，如何系统化地导出和处理眼动追踪数据以供后续分析？

主要发现

• TobiiGlassesPySuite 提供了一个统一的、与平台无关的解决方案，通过单一 Python 软件包控制 Tobii Pro Glasses 2 并管理录制数据。
• 该套件支持使用 RTSP 和 OpenCV 实现实时数据流式传输，允许对场景视频和映射的眼动点进行实时可视化。
• 研究人员可使用 I-DT 滤波器，以可配置的分散度和持续时间阈值，将原始眼动数据和检测到的注视点以 CSV 格式导出。
• 该软件支持通过 JSON 对象进行外部事件日志记录，日志可保存为 CSV 文件，或与 Tobii Pro Lab 软件同步以增强分析能力。
• 该套件包含全面的示例脚本，涵盖项目创建、参与者管理、校准和录制控制，显著简化了实验设置流程。
• 该软件包采用 GNU GPL v3.0 许可证，具有开源特性，鼓励社区贡献并具备长期可扩展性。