[论文解读] Toward safe separation distance monitoring from RGB-D sensors in human-robot interaction

Petr Švarný, Zdeněk Straka+1 more|arXiv (Cornell University)|Oct 11, 2018

Robotic Path Planning Algorithms参考文献 8被引用 4

一句话总结

本文提出了一种基于RGB-D传感器和人体姿态估计的实时框架，用于监测人与机器人之间的安全分离距离。通过计算人体和机器人身体关键点之间的成对距离，该系统实现了超越固定区域的动态、可调安全监控，在Nao机器人上结合RealSense和OpenPose进行了验证。

ABSTRACT

The interaction of humans and robots in less constrained environments gains a lot of attention lately and the safety of such interaction is of utmost importance. Two ways of risk assessment are prescribed by recent safety standards: (i) power and force limiting and (ii) speed and separation monitoring. Unlike typical solutions in the industry that are restricted to mere safety zone monitoring, we present a framework that realizes separation distance monitoring between a robot and a human operator in a detailed, yet versatile, transparent, and tunable fashion. The separation distance is assessed pair-wise for all keypoints on the robot and the human body and as such can be selectively modified to account for specific conditions. The operation of this framework is illustrated on a Nao humanoid robot interacting with a human partner perceived by a RealSense RGB-D sensor and employing the OpenPose human skeleton estimation algorithm.

研究动机与目标

• 应对非结构化环境中日益增长的安全人机交互（HRI）需求。
• 克服传统安全区域监控的局限性，实现细粒度、动态的分离距离追踪。
• 开发一种透明且可配置的实时方法，用于评估人机之间的相互距离。
• 将人体姿态估计与机器人运动学相结合，实现精确的成对距离计算。
• 在Nao机器人的真实人机交互场景中，验证该框架的可行性与响应速度。

提出的方法

• 利用RealSense RGB-D传感器捕获深度与彩色数据，实现对人和机器人的感知。
• 采用OpenPose算法实时估计人体2D/3D身体关键点。
• 通过正向运动学将机器人关节状态映射为3D关键点，实现一致的对比。
• 计算所有人体与机器人身体关键点之间的成对欧氏距离，以评估接近程度。
• 为每对关键点设置可配置的阈值，实现可调的安全策略。
• 将框架集成至实时控制回路，实现对接近程度变化的动态响应。

实验结果

研究问题

• RQ1 如何在固定安全区域之外，实现对人与机器人之间分离距离的细粒度、实时精确监控？
• RQ2 RGB-D传感器与人体姿态估计能否在人机交互中实现可靠、低延迟的相互距离追踪？
• RQ3 通过关键点级别的距离评估，安全监控在多大程度上可以实现透明化与可配置化？
• RQ4 该系统在配备人形机器人且人类运动动态变化的真实人机交互场景中表现如何？
• RQ5 该框架能否支持基于解剖区域或任务特定约束的选择性安全策略？

主要发现

• 该框架仅使用RGB-D数据和姿态估计，即可实现对人与机器人身体关键点之间成对距离的实时监控。
• 系统支持为每对关键点设置可配置的安全阈值，可针对不同交互场景定制响应策略。
• 该方法在时间分辨率和准确性方面均达到足够水平，适用于动态人机交互，已在与Nao机器人的实时交互中得到验证。
• 将OpenPose与机器人运动学相结合，可实现一致的3D关键点对齐，从而实现精确的距离计算。
• 该方法为固定安全区域提供了透明且可调的替代方案，显著提升了在非结构化环境中的适应能力。
• 实现结果表明该框架在真实人机交互场景中具备可行性与响应速度，可支持未来安全关键型应用。