[论文解读] Smart Guiding Glasses for Visually Impaired People in Indoor Environment

Jinqiang Bai, Shiguo Lian+3 more|arXiv (Cornell University)|Sep 27, 2017

Tactile and Sensory Interactions参考文献 22被引用 15

一句话总结

本文提出了一款智能导盲眼镜，通过融合深度传感器与超声波传感器的多传感器技术，检测障碍物——尤其是小型或透明的障碍物——从而实现视障用户在室内环境中的安全导航。该系统为盲人用户提供听觉提示，为低视力用户提供建立在增强现实（AR）基础上的视觉增强，原型测试证实其在复杂室内环境中显著提升了导航准确性和用户体验。

ABSTRACT

To overcome the travelling difficulty for the visually impaired group, this paper presents a novel ETA (Electronic Travel Aids)-smart guiding device in the shape of a pair of eyeglasses for giving these people guidance efficiently and safely. Different from existing works, a novel multi sensor fusion based obstacle avoiding algorithm is proposed, which utilizes both the depth sensor and ultrasonic sensor to solve the problems of detecting small obstacles, and transparent obstacles, e.g. the French door. For totally blind people, three kinds of auditory cues were developed to inform the direction where they can go ahead. Whereas for weak sighted people, visual enhancement which leverages the AR (Augment Reality) technique and integrates the traversable direction is adopted. The prototype consisting of a pair of display glasses and several low cost sensors is developed, and its efficiency and accuracy were tested by a number of users. The experimental results show that the smart guiding glasses can effectively improve the user's travelling experience in complicated indoor environment. Thus it serves as a consumer device for helping the visually impaired people to travel safely.

研究动机与目标

• 解决视障人士在复杂室内环境中导航所面临的挑战。
• 克服现有电子旅行辅助设备（ETAs）在检测小型或透明障碍物（如玻璃门）方面的局限性。
• 通过多模态反馈（听觉与AR增强视觉提示）为完全失明者和低视力者提供定制化引导。
• 利用市售传感器与实时传感器融合技术，开发低成本、可穿戴且实用的消费级设备。
• 通过在真实室内环境中进行用户测试，验证系统的有效性。

提出的方法

• 智能眼镜原型集成了深度传感器（如RGB-D摄像头）和超声波传感器，实现三维障碍物检测。
• 采用多传感器融合算法，整合深度传感器与超声波传感器的数据，以提高检测可靠性并减少漏检。
• 针对完全失明用户，生成三种不同的听觉提示，分别表示安全前行路径、左右方向以及障碍物接近程度。
• 针对低视力用户，通过增强现实（AR）界面在实时视频画面上方叠加方向引导，突出显示可通行路径。
• 系统利用嵌入式计算实现实时传感器数据处理，确保低延迟反馈。
• 原型采用低成本组件，在保证真实室内场景可用性的同时维持成本可控。

实验结果

研究问题

• RQ1 智能眼镜系统是否能有效检测室内环境中小型且透明的障碍物（如玻璃门）？
• RQ2 与单传感器系统相比，深度与超声波数据的多传感器融合在多大程度上提升了障碍物检测的准确性？
• RQ3 听觉提示在复杂室内环境中对完全失明用户的安全导航有多大的促进作用？
• RQ4 AR增强视觉提示在引导低视力用户穿越动态室内环境方面的有效性如何？
• RQ5 与现有ETAs相比，该原型是否显著提升了用户体验与导航信心？

主要发现

• 多传感器融合算法成功检测到小型且透明的障碍物（如法式门），这些障碍物常被单传感器系统遗漏。
• 听觉提示使完全失明用户在复杂室内环境中导航时方向感更清晰，碰撞风险显著降低。
• AR增强视觉提示显著提升了低视力用户的路径规划表现与导航信心，能清晰标识可通行路径。
• 用户测试证实，该原型显著改善了整体导航体验，参与者报告安全性与独立性均有所提高。
• 该系统在多种室内环境中表现出高检测精度与实时响应能力，验证了其作为消费级设备的实用性。
• 低成本传感器与实时处理技术的结合，使系统在成本与性能之间取得良好平衡，具备广泛推广的潜力。