[论文解读] OpenEDS: Open Eye Dataset

Stephan J. Garbin, Yiru Shen+4 more|arXiv (Cornell University)|Apr 30, 2019

Retinal Imaging and Analysis参考文献 45被引用 68

一句话总结

OpenEDS 提供一个大规模、面向 VR 的眼部图像数据集，具备多类眼部区域标注（虹膜、瞳孔、巩膜、背景）、未标注图像、视频序列，以及角膜地形。一个基线语义分割实验达到较高的 mIoU，展示 OpenEDS 在 VR 眼动研究中的用途。

ABSTRACT

We present a large scale data set, OpenEDS: Open Eye Dataset, of eye-images captured using a virtual-reality (VR) head mounted display mounted with two synchronized eyefacing cameras at a frame rate of 200 Hz under controlled illumination. This dataset is compiled from video capture of the eye-region collected from 152 individual participants and is divided into four subsets: (i) 12,759 images with pixel-level annotations for key eye-regions: iris, pupil and sclera (ii) 252,690 unlabelled eye-images, (iii) 91,200 frames from randomly selected video sequence of 1.5 seconds in duration and (iv) 143 pairs of left and right point cloud data compiled from corneal topography of eye regions collected from a subset, 143 out of 152, participants in the study. A baseline experiment has been evaluated on OpenEDS for the task of semantic segmentation of pupil, iris, sclera and background, with the mean intersectionover-union (mIoU) of 98.3 %. We anticipate that OpenEDS will create opportunities to researchers in the eye tracking community and the broader machine learning and computer vision community to advance the state of eye-tracking for VR applications. The dataset is available for download upon request at https://research.fb.com/programs/openeds-challenge

研究动机与目标

• 解决对一个大规模、高分辨率、VR 眼部图像数据集的需求，并提供详细的眼部区域注释。
• 在多名参与者中提供受控捕获数据（VR 头戴显示器，眼部摄像头同步，200 Hz）。
• 提供多方面的数据（图像、掩模、视频、角膜地形），以支持眼动追踪和注视估计研究。
• 展示基线语义分割在瞳孔/虹膜/巩膜/背景分割上的性能。

提出的方法

• 在受控光照下，使用带有两个同步摄像头的定制 VR HMD 捕捉眼部图像，速率为 200 Hz。
• 对12,759张图像进行眼睑、虹膜（椭圆及边界点）、瞳孔（椭圆及边界）的掩模标注，实现多类分割。
• 提供额外的未标注图像（252,690 张）与 91,200 帧视频，用于序列任务。
• 使用 Scheimpflug 成像将角膜地形记录为 143 左/右眼点云，并映射到完整的眼部区域数据。
• 使用带边界细化和可分离卷积的修改 SegNet 基础架构（mSegnet）评估基线分割。

实验结果

研究问题

• RQ1 一个大规模、高分辨率的眼部图像数据集，带有每只眼的掩模，是否能提升VR凝视追踪中的眼部区域分割？
• RQ2 在受控的 VR 眼部影像中，神经网络对瞳孔、虹膜、巩膜和背景的分割效果如何？
• RQ3 边界感知和高效架构对眼部数据的分割精度和模型规模有何影响？

主要发现

模型	像素精度	平均精度	F1	IoU	尺寸 (MB)
mSegnet	98.0	96.8	97.9	90.7	3.5
mSegnet w/ BR	98.3	97.5	98.3	91.4	3.5
mSegnet w/ SC	97.6	96.6	97.4	89.5	0.4

• OpenEDS 包含来自 152 名参与者的 12,759 张标注图像、252,690 张未标注图像、91,200 帧视频，以及 286 个角膜地形点云。
• 基线语义分割在瞳孔/虹膜/巩膜/背景上的 SegNet 基础 BR 模型达到 mIoU 最高 91.4%。
• 表现最好的模型（带边界细化的 SegNet）达到像素准确度 98.3，平均准确度 97.5，F1 98.3，IoU 91.4，参数量 3.5 MB。
• 未带 BR 的 SegNet 变体在 IoU 和 F1 方面均不及带 BR 的变体，且更复杂的模型（SC）占用更小的内存但精度下降。
• 标注协议包括虹膜和瞳孔的椭圆与多边形标注，以及 18 点眼睑标注，使眼部区域分割更加精准。