[论文解读] RescueAR: Augmented Reality Supported Collaboration for UAV Driven Emergency Response Systems

Ankit Agrawal, Jane Cleland‐Huang|arXiv (Cornell University)|Sep 30, 2021

Augmented Reality Applications被引用 4

一句话总结

RescueAR 是一种基于位置的增强现实平台，可实现人类应急响应人员与无人机之间对紧急现场信息的实时地理标记、可视化及共享。通过三种界面——Flying-AR、FirstResponse-AR 和 Mission-Control，该平台提升了空间认知能力和沟通准确性，在理想条件下实现了 2 米以内的兴趣点（POI）地理定位。

ABSTRACT

Emergency response events are fast-paced, noisy, and they require teamwork to accomplish the mission. Furthermore, the increasing deployment of Unmanned Aerial Vehicles (UAVs) alongside emergency responders, demands a new form of partnership between humans and UAVs. Traditional radio-based information exchange between humans during an emergency response suffers from a lack of visualization and often results in miscommunication. This paper presents a novel collaboration platform: RescueAR, which utilizes the paradigm of Location-based Augmented Reality to geotag, share, and visualize information. RescueAR aims to support the two-way communication between humans and UAVs, facilitate collaboration across diverse responders, and visualize scene information relevant to the rescue team's role. According to our feasibility study, a user study, followed by a focus group session with police officers, RescueAR can support rescue teams in developing the spatial cognition of the scene, facilitate the exchange of geolocation information, and complement existing communication tools during the UAV-supported emergency response.

研究动机与目标

• 解决因嘈杂、非视觉化的无线电通信导致的应急响应沟通中断问题。
• 提升应急响应人员与远程团队在无人机支持任务中的空间感知能力和情境理解能力。
• 通过地理标记的 AR 可视化信息共享，实现实时的人机双向协作。
• 通过面向特定角色的 AR 界面，支持现场人员、远程监控人员和任务指挥人员等多样化应急响应角色。
• 通过专家反馈和受控实验，评估基于 AR 的协作在真实应急场景中的可行性与可用性。

提出的方法

• 设计并实现 RescueAR，一种由三部分组成的 AR 系统：Flying-AR（远程对航拍视频进行标注）、FirstResponse-AR（现场人员通过 AR 可视化地理定位的兴趣点）、Mission-Control（对无人机、视频流和兴趣点进行集中化空间汇总的控制界面）。
• 利用 GPS 和 RTK（实时动态）基站，在城市环境中实现对兴趣点的厘米级地理定位精度。
• 集成实时航拍视频流与地理标记功能，使远程用户能够实时标记伤员或危险区域。
• 在移动设备和 AR 眼镜上实现对地理定位兴趣点的 AR 可视化，使现场人员能直接在其视野中感知空间上下文。
• 开展一项包含六名参与者的可用性研究，并组织警察人员焦点小组，以评估系统性能和用户体验。
• 通过预录视频和已知兴趣点坐标分析地理定位精度，在受控条件下实现了 2 米以内的精度。

实验结果

研究问题

• RQ1 基于 AR 的地理标记与可视化是否能提升无人机支持下的应急响应中的情境感知能力和空间认知能力？
• RQ2 应急响应人员在高压场景下，如何评价 AR 界面在共享和解读地理定位信息方面的可用性与价值？
• RQ3 在快节奏任务中，如何在实时视频流与标注精度之间实现 AR 界面设计的关键权衡？
• RQ4 RescueAR 在多大程度上能减少现场人员、远程监控者与任务指挥官之间的沟通错误，并提升协作效率？
• RQ5 应急响应人员中无人机操作经验的差异，如何影响 AR 支持协作工具的采纳率与有效性？

主要发现

• 在理想条件下，RescueAR 对兴趣点的地理定位精度达到 2 米以内，证明了其空间参照的可靠性。
• 可用性研究中的用户报告称，Flying-AR 显著增强了他们对动态场景持续的情境感知能力。
• 焦点小组中的警察人员对 RescueAR 表现出强烈支持，认为其可作为执法行动中现有通信系统的有力补充。
• 六名可用性研究参与者中有四名更倾向于暂停航拍视频以确保标注精度，凸显了实时信息流与标注精度之间的关键用户体验权衡。
• 系统在 AR 中可视化地理定位的兴趣点，显著提升了共享信息的清晰度与持久性，优于传统无线电通信方式。
• 参与者指出，需要引入视频缓冲和可调节播放速度功能，以在不丢失情境上下文的前提下支持标注操作，表明未来界面优化至关重要。