[论文解读] What Are You Looking at? Detecting Human Intention in Gaze based Human-Robot Interaction

Lei Shi, Cosmin Copot+1 more|arXiv (Cornell University)|Sep 17, 2019

Gaze Tracking and Assistive Technology参考文献 25被引用 4

一句话总结

本文提出了一种用于人机交互的注视意图检测方法，通过使用地球移动距离（EMD）比较从物体显著性图派生的假设注视分布与实际眼动追踪眼镜采集的注视数据。与基于注视点的方法不同，该方法在扫视和注视噪声下仍保持鲁棒性，在成功预测中实现了92.2%的物体选择成功率，并将删除错误减少了高达75%。

ABSTRACT

In gaze based Human-Robot Interaction (HRI), it is important to determine the human intention for further interaction. The gaze intention is often modelled as fixation. However, when looking at an object, it is not natural and it is difficult to maintain the gaze fixating on one point for a long time. Saccades may happen while a human is still focusing on the object. The prediction of human intention will be lost during saccades. In addition, while the human intention is on object, the gazes may be located outside of the object bounding box due to different noise sources, which would cause false negative predictions. In this work, we propose a novel approach to detect whether a human is focusing on an object in HRI application. We determine the gaze intention by comparing the similarity between the hypothetic gazes on objects and the actual gazes. We use Earth Mover's Distance (EMD) to measure the similarity and 1 Nearest Neighbour to classify which object a human is looking at. Our experimental results indicate that, compare to fixation, our method can successfully determine the human intention even during saccadic eye movements and increase the classification accuracy with noisy gaze data. We also demonstrate that, in the interaction with a robot, the proposed approach can obtain a high accuracy of object selection within successful predictions.

研究动机与目标

• 为解决基于注视点的注视意图检测在人机交互中，特别是在扫视眼动期间及由于注视意图错误导致的局限性。
• 提高对移动眼动追踪系统中边界框变化、校准漂移和头部运动等噪声源的鲁棒性。
• 开发一种即使注视点落在物体边界框之外也能准确检测人类视觉意图的方法。
• 通过确认手势实现可靠的人机交互中的物体选择。

提出的方法

• 通过自下而上的视觉显著性模型在物体边界框内采样显著区域，生成假设注视分布。
• 在人类观察物体期间，从移动眼动追踪眼镜中收集实际注视分布数据。
• 使用地球移动距离（EMD）计算假设注视分布与实际注视分布之间的相似性。
• 应用带空类拒绝功能的1-最近邻（1-NN）分类器，将最相似的物体分配给当前注视模式。
• 使用一个简单的眼动手势——闭眼0.5秒——作为机器人交互中确认物体选择的信号。
• 将该方法与基于注视点的分类方法进行比较，采用KL散度和巴氏距离作为替代的相似性度量。

实验结果

研究问题

• RQ1 当基于注视点的方法失效时，是否能够在扫视眼动期间可靠检测注视意图？
• RQ2 由边界框变化或校准漂移引起的注视噪声如何影响人机交互中物体选择的准确性？
• RQ3 与基于注视点的方法相比，基于显著性的注视分布模型是否能提升在噪声注视数据下的鲁棒性？
• RQ4 EMD在测量注视分布相似性方面是否显著优于KL散度和巴氏距离？
• RQ5 在真实人机交互场景中，使用该方法的物体选择成功率是多少？

主要发现

• 与基于注视点的方法相比，该方法将由扫视和注视意图错误引起的删除事件减少了高达75%，删除率从17.0–26.3%降低至3.0–6.5%。
• 在机器人交互的成功预测中，该方法实现了92.2%的物体选择成功率，表明在真实人机交互场景中具有高度可靠性。
• EMD在与注视点和假设点之间欧氏距离的相关性方面优于KL散度和巴氏距离，并避免了饱和问题。
• 当注视点因噪声而位于物体边界框之外时，该方法仍保持高精度，而基于注视点的方法在该条件下完全失效。
• 当注视数据清晰且位于边界框内时，基于注视点的方法表现相当，但在噪声条件下，该方法显著优于基于注视点的方法。