[论文解读] Real-world Mapping of Gaze Fixations Using Instance Segmentation for Road Construction Safety Applications

Idris Jeelani, Khashayar Asadi+3 more|arXiv (Cornell University)|Jan 30, 2019

Occupational Health and Safety Research参考文献 50被引用 7

一句话总结

本文提出了一种计算机视觉系统，通过在Mask R-CNN模型上使用迁移学习进行实例分割，实现对道路施工现场真实环境中可穿戴眼动追踪仪所捕捉的注视点自动映射到预定义感兴趣区域（AOI）的功能。该系统在将注视点映射到挖掘机、发电机和电线等危险源时达到了88%的准确率，实现了对工人注意力的自动化分析以及危险识别表现的评估。

ABSTRACT

Research studies have shown that a large proportion of hazards remain unrecognized, which expose construction workers to unanticipated safety risks. Recent studies have also found that a strong correlation exists between viewing patterns of workers, captured using eye-tracking devices, and their hazard recognition performance. Therefore, it is important to analyze the viewing patterns of workers to gain a better understanding of their hazard recognition performance. This paper proposes a method that can automatically map the gaze fixations collected using a wearable eye-tracker to the predefined areas of interests. The proposed method detects these areas or objects (i.e., hazards) of interests through a computer vision-based segmentation technique and transfer learning. The mapped fixation data is then used to analyze the viewing behaviors of workers and compute their attention distribution. The proposed method is implemented on an under construction road as a case study to evaluate the performance of the proposed method.

研究动机与目标

• 为填补现有研究依赖静态图像而缺乏对施工人员在实际作业过程中视觉搜索行为的理解空白。
• 开发一种自动化系统，将可穿戴眼动追踪仪在动态施工环境中采集的注视点数据映射到真实世界中的危险源位置。
• 通过计算机视觉与深度学习分析注意力分布与注视模式，提升危险识别性能。
• 通过实时量化工人对危险源的视觉注意力，实现可扩展的数据驱动型安全培训。
• 在真实道路施工场地中，通过对比人工标注的基准数据，验证系统将注视点准确映射到预定义危险物体（AOI）的能力。

提出的方法

• 使用可穿戴眼动追踪眼镜，在实际道路施工场地中捕获施工人员的实时视频与注视点数据。
• 应用经过预训练并基于迁移学习微调的Mask R-CNN模型，检测并分割视频帧中预定义的危险物体（如挖掘机、发电机、电线等）。
• 为每个检测到的目标兴趣对象（AOI）生成像素级实例掩码，以定义注视点验证的空间边界。
• 通过时间同步将100 Hz的眼动追踪数据与25 fps的视频帧对齐，校正帧率不匹配问题。
• 通过检查注视点是否位于检测到的物体掩码内部，判断其是否落在AOI内。
• 通过对比25张测试帧中人工标注的基准数据，验证系统的准确性。

实验结果

研究问题

• RQ1 基于深度学习的实例分割模型能否在真实施工场景视频中准确检测并生成预定义危险物体的掩码？
• RQ2 能否利用计算机视觉技术将可穿戴眼动追踪仪获取的注视点准确映射到真实世界物体位置？
• RQ3 系统的性能在多大程度上受图像质量、物体位置（如中心与周边）以及运动模糊的影响？
• RQ4 如通过注视点映射所测得的注意力分布，与真实环境中危险识别表现之间存在何种相关性？
• RQ5 该系统能否在动态的真实施工场景中可靠地检测并分类出如电线、挖掘机和发电机等危险源？

主要发现

• 在25张测试帧中，系统将注视点映射到预定义危险区域（AOI）的准确率达到88%，其中22个注视点被正确识别。
• 主要失败原因包括掩码生成错误（尤其当注视点靠近物体边缘时）以及因头部运动导致的图像模糊引发的物体检测失败。
• 由于快速头部运动导致的图像模糊降低了检测准确率，尤其对小型或远距离物体（如电线）影响显著。
• 当注视点位于物体掩码中心区域时，注视点映射最为准确，而在物体边缘区域错误率更高。
• 系统能够有效区分主要危险类型（如挖掘机、发电机、电线）的“目标内”与“目标外”注视点。
• 已校正100 Hz眼动追踪数据与25 fps视频之间的时间错位，但因同步限制仍存在少量残余误差。