[论文解读] Projection Mapping Implementation: Enabling Direct Externalization of Perception Results and Action Intent to Improve Robot Explainability

Han Zhao, Alexander S. Wilkinson+3 more|arXiv (Cornell University)|Oct 5, 2020

Social Robot Interaction and HRI参考文献 21被引用 5

一句话总结

本文提出了一种基于ROS的投影映射系统，使机器人能够通过使用现成投影仪将可视化结果——如检测到的物体和操作目标——直接投射到现实表面上，从而直接外化感知结果与行为意图。通过将Rviz中的虚拟相机与投影仪的位姿及内参参数（焦距、畸变）同步，系统能够投射出准确、显著且无歧义的视觉提示，从而在不依赖模糊的非语言线索或显示界面的情况下，提升人机协作效果。

ABSTRACT

Existing research on non-verbal cues, e.g., eye gaze or arm movement, may not accurately present a robot's internal states such as perception results and action intent. Projecting the states directly onto a robot's operating environment has the advantages of being direct, accurate, and more salient, eliminating mental inference about the robot's intention. However, there is a lack of tools for projection mapping in robotics, compared to established motion planning libraries (e.g., MoveIt). In this paper, we detail the implementation of projection mapping to enable researchers and practitioners to push the boundaries for better interaction between robots and humans. We also provide practical documentation and code for a sample manipulation projection mapping on GitHub: https://github.com/uml-robotics/projection_mapping.

研究动机与目标

• 为解决机器人领域中投影映射工具缺乏可用性的问题，该问题阻碍了对机器人状态直接外化的研究。
• 通过用直接、显著的视觉投影替代模糊的非语言线索（例如视线方向、指向动作），提升机器人可解释性。
• 使研究人员和实践者能够使用现成硬件和ROS集成，以最少的自定义开发工作实现并研究投影映射技术。
• 通过提供感知与意图的准确、实时视觉反馈，减少人类对机器人行为的心理推断与误解，从而支持人机协作。
• 提供一种与机器人无关的开源实现，可将感知输出（例如点云、交互标记）直接投射到物理环境中。

提出的方法

• 系统使用Rviz中的虚拟相机，其位姿和内参参数（焦距、畸变）与真实投影仪完全一致，从而使其‘看到’与投影仪相同的场景。
• 虚拟相机订阅投影仪的CameraInfo消息，以确保虚拟投影与真实投影之间的光学一致性。
• 在Rviz中可视化显示的感知数据（例如点云、导航地图、交互标记）从虚拟相机的视角进行渲染，并流式传输至投影仪。
• 通过ROS的image_view包输出投影图像，该包以全屏模式通过HDMI将虚拟相机的输出显示在投影仪上。
• 自定义的硬件支架与云台装置可实现投影仪在机器人（如Fetch）上的动态水平与俯仰调节，同时保持精确的位姿对齐。
• 该系统与机器人无关：只要投影仪与机器人共处同一坐标系，并在机器人的TF树中定义了相应的变换帧，即使未物理固定，也能正常工作。

实验结果

研究问题

• RQ1 投影映射能否以比传统非语言线索更直接、更少歧义的方式有效外化机器人感知结果与行为意图？
• RQ2 与基于屏幕的显示相比，将感知数据直接投射到现实物体上，在人机协作中对用户性能与理解力的影响如何？
• RQ3 投影映射在多大程度上减少了人机交互中对心理推断与澄清的需求？
• RQ4 能否有效将低成本的现成投影仪集成到基于ROS的机器人系统中，实现实时、高精度的投影映射？
• RQ5 在多样化的机器人平台与环境中部署投影映射时，实际实现中的挑战与解决方案有哪些？

主要发现

• 该系统成功实现了使用标准机器人软件栈，将感知输出（如检测到的物体、操作目标）实时投射到物理表面。
• 通过将Rviz中的虚拟相机与真实投影仪的位姿和内参参数对齐，系统确保了投射图像与现实物体的形状和尺寸完全匹配。
• 该方法消除了用户在屏幕显示与真实环境之间进行心理映射的需求，从而减少了误解与认知负荷。
• 该实现支持对多种可视化内容（如点云、导航路径、交互标记）的动态投射，且无需修改核心投影处理流程。
• 该系统已在Fetch机器人上完成验证，并适用于其他平台（包括辅助机器人），充分证明了其与机器人无关的特性。
• GitHub上的开源代码库使研究人员能够复现、扩展，并开展基于投影的可解释性在机器人学中的人体实验研究。