[论文解读] TabletGaze: Unconstrained Appearance-based Gaze Estimation in Mobile Tablets

Qiong Huang, Ashok Veeraraghavan+1 more|arXiv (Cornell University)|Aug 5, 2015

Gaze Tracking and Assistive Technology参考文献 45被引用 35

一句话总结

本文提出 TabletGaze，一种仅使用前置摄像头、无需校准或用户约束的基于外观的移动平板 gaze 估计系统。该系统采用多级 HOG 特征和随机森林回归器，在新收集的非受控数据集（Rice TabletGaze）上实现跨多样化用户和姿势的 gaze 估计平均误差为 3.17 cm。

ABSTRACT

We study gaze estimation on tablets, our key design goal is uncalibrated gaze estimation using the front-facing camera during natural use of tablets, where the posture and method of holding the tablet is not constrained. We collected the first large unconstrained gaze dataset of tablet users, labeled Rice TabletGaze dataset. The dataset consists of 51 subjects, each with 4 different postures and 35 gaze locations. Subjects vary in race, gender and in their need for prescription glasses, all of which might impact gaze estimation accuracy. Driven by our observations on the collected data, we present a TabletGaze algorithm for automatic gaze estimation using multi-level HoG feature and Random Forests regressor. The TabletGaze algorithm achieves a mean error of 3.17 cm. We perform extensive evaluation on the impact of various factors such as dataset size, race, wearing glasses and user posture on the gaze estimation accuracy and make important observations about the impact of these factors.

研究动机与目标

• 在不需校准或受控用户姿势的条件下实现在移动平板上的 gaze 估计。
• 收集并发布首个大规模非受控行为 gaze 数据集（Rice TabletGaze），涵盖多样的用户人口统计特征和姿势。
• 开发一种鲁棒的基于外观的 gaze 估计算法，适用于不同光照条件、眼睛形状、佩戴眼镜及用户姿势。
• 评估数据集规模、种族、是否佩戴眼镜及姿势对 gaze 估计准确率的影响。
• 实现实时、设备端的 gaze 估计，适用于免提交互和行为分析等应用。

提出的方法

• 收集了大规模非受控行为 gaze 数据集（Rice TabletGaze），包含 51 名受试者、4 种姿势，每位受试者 35 个 gaze 位置。
• 使用级联眼睛检测器在前置摄像头图像中定位眼睛。
• 从裁剪出的眼睛区域提取多级方向梯度直方图（mHoG）特征。
• 应用线性判别分析（LDA）降低 mHoG 特征的维度。
• 在 LDA 降维后的特征上训练随机森林回归器，以预测平板屏幕上 2D 的 gaze 位置。
• 使用留一受试者交叉验证评估性能，并应用双边滤波器减少 gaze 预测中的时间波动。

实验结果

研究问题

• RQ1 在无校准或用户约束的条件下，基于外观的 gaze 估计在移动平板上能达到多高的准确率？
• RQ2 在非受控环境下，用户人口统计特征（如种族和是否佩戴眼镜）对 gaze 估计准确率有何影响？
• RQ3 不同用户姿势（站立、端坐、驼背、躺卧）如何影响 gaze 估计性能？
• RQ4 何种特征表示与回归模型的组合最适合非受控平板 gaze 估计？
• RQ5 通过眼睛中心和大小特征隐式获取的头部姿态信息是否能提升 gaze 估计准确率？

主要发现

• TabletGaze 算法在平板屏幕上的 gaze 估计平均误差为 3.17 ± 2.10 cm，证明了其在非受控移动使用场景下的高准确率。
• 该算法在不同种族和佩戴处方眼镜的用户中均保持了稳健的性能。
• 将眼睛中心和大小特征作为头部姿态的代理并未显著提升准确率，表明直接添加这些特征的收益有限。
• 双边滤波器有效减少了 gaze 预测中的时间波动，提升了平滑性，且未牺牲准确率。
• Rice TabletGaze 数据集揭示了关键挑战，如面部遮挡、姿势变化以及眼镜镜片反光，这些都会影响估计的可靠性。
• 大量消融实验表明，mHoG 配合随机森林的组合优于其他特征-回归器组合，证实了其在该任务中的有效性。