[论文解读] SENSAR: A Visual Tool for Intelligent Robots for Collaborative Human-Robot Interaction

Andre Cleaver, Faizan Muhammad+3 more|arXiv (Cornell University)|Nov 9, 2020

Social Robot Interaction and HRI被引用 5

一句话总结

SENSAR 是一个开源的增强现实（AR）系统，使智能机器人能够通过 AR 设备（如微软 HoloLens 或智能手机）在真实环境中实时可视化其感官数据、认知状态和导航规划。通过将机器人感知结果（如障碍物地图、规划轨迹和转向信号）直接叠加在物理空间上，SENSAR 提升了人类对机器人行为的理解，增强了调试能力，支持机器人教育，并促进了人机协作中的共享态势感知。

ABSTRACT

Establishing common ground between an intelligent robot and a human requires communication of the robot's intention, behavior, and knowledge to the human to build trust and assure safety in a shared environment. This paper introduces SENSAR (Seeing Everything iN Situ with Augmented Reality), an augmented reality robotic system that enables robots to communicate their sensory and cognitive data in context over the real-world with rendered graphics, allowing a user to understand, correct, and validate the robot's perception of the world. Our system aims to support human-robot interaction research by establishing common ground where the perceptions of the human and the robot align.

研究动机与目标

• 为解决因机器人感知和决策过程不透明而导致的人机沟通不畅问题。
• 通过使机器人感官和认知数据对人类合作者可解释，提升共享环境中的信任与安全性。
• 开发一个模块化、设备无关的 AR 系统，可视化机器人数据，且无需外部跟踪或云服务。
• 通过支持机器人感知的实时验证与修正，促进人机交互（HRI）研究。
• 通过直观、上下文感知的视觉反馈，探索在机器人教育和系统调试中的应用。

提出的方法

• 系统使用 ROS（机器人操作系统）收集并处理来自 Turtlebot2 机器人的传感器数据，包括 LIDAR、深度摄像头和路径规划输出。
• 原始传感器数据经过滤波（如降采样）并转换为视觉基元（如彩色标记、3D 点云），使用自定义的 Python 和 C++ 脚本实现。
• 通过 Unity 和 Vuforia 实现 AR 渲染，支持 HoloLens、智能手机或平板设备，利用目标图像跟踪机器人位姿，并实时叠加可视化内容。
• 将数据类型（如障碍物地图（红色表示障碍物，绿色表示自由空间）、路径轨迹（黄色标记）、转向信号（闪烁的定向箭头））空间对齐地渲染到真实世界中。
• 系统利用 ROSBridge 以 JSON 格式将数据传输至 AR 设备，实现低延迟、设备无关的通信。
• 该框架具有模块化和可扩展性，支持与任何基于 ROS 的机器人及额外传感器（如超声波、彩色传感器）的集成。

实验结果

研究问题

• RQ1 基于 AR 的机器人感知与认知可视化是否能提升人类在共享环境中对机器人行为的理解？
• RQ2 在 AR 中可视化机器人路径规划与障碍物检测，如何影响人类对机器人导航意图的感知？
• RQ3 SENSAR 是否能通过实时视觉反馈帮助用户识别传感器故障（如 LIDAR 失效），从而增强调试能力？
• RQ4 SENSAR 在多大程度上可作为教育工具，用于向非专业用户（如 K-12 学生）传授机器人概念？
• RQ5 通过 AR 传递感知信息是否能提升人机团队的协作效率与共享态势感知？

主要发现

• SENSAR 成功可视化了基于 LIDAR 的障碍物检测（红色标记）和自由空间（绿色标记），使用户能够区分传感器是否正常工作。
• 在一次测试中，当机器人接近墙壁时，AR 视图中缺少红色标记，揭示了 LIDAR 传感器故障，解释了随后发生的碰撞，而仅靠视觉观察无法察觉此问题。
• 系统表明，使用黄色标记可视化路径轨迹有助于用户预测机器人的移动方向，支持意图识别。
• 转向信号功能通过模仿汽车转向灯，有效传达了机器人的转向意图，提升了导航透明度。
• SENSAR 通过允许用户将 AR 视觉反馈与实际机器人行为（如因传感器错误导致的路径偏移）相关联，实现了机器人行为的实时调试。
• 该框架成功扩展至 EV3 机器人，其中超声波传感器数据被可视化为蓝色圆锥体，展示了其在教育机器人领域的潜力。