[论文解读] Shared Control Based on Extended Lipschitz Analysis With Application to Human-Superlimb Collaboration

Hanjun Song, H. Harry Asada|arXiv (Cornell University)|Sep 1, 2023

Stroke Rehabilitation and Recovery被引用 4

一句话总结

本文提出了一种数据驱动的共享控制框架，用于人-超肢体协作，利用扩展的利普希茨分析定量分配人类自愿控制与机器人反应式控制之间的任务。通过识别低利普希茨商数下的可预测运动模式，并将来自隐马尔可夫模型（HMM）的任务模式信息加入输入空间，该方法将可预测动作分配给机器人，将不可预测的自发性动作（如往复刀切）分配给人类，从而在使用超肢体（Supernumerary Robotic Limb）进行双臂进餐任务时实现了有效的人机自主性-干预权衡。

ABSTRACT

This paper presents a quantitative method to construct voluntary manual control and sensor-based reactive control in human-robot collaboration based on Lipschitz conditions. To collaborate with a human, the robot observes the human's motions and predicts a desired action. This predictor is constructed from data of human demonstrations observed through the robot's sensors. Analysis of demonstration data based on Lipschitz quotients evaluates a) whether the desired action is predictable and b) to what extent the action is predictable. If the quotients are low for all the input-output pairs of demonstration data, a predictor can be constructed with a smooth function. In dealing with human demonstration data, however, the Lipschitz quotients tend to be very high in some situations due to the discrepancy between the information that humans use and the one robots can obtain. This paper a) presents a method for seeking missing information or a new variable that can lower the Lipschitz quotients by adding the new variable to the input space, and b) constructs a human-robot shared control system based on the Lipschitz analysis. Those predictable situations are assigned to the robot's reactive control, while human voluntary control is assigned to those situations where the Lipschitz quotients are high even after the new variable is added. The latter situations are deemed unpredictable and are rendered to the human. This human-robot shared control method is applied to assist hemiplegic patients in a bimanual eating task with a Supernumerary Robotic Limb, which works in concert with an unaffected functional hand.

研究动机与目标

• 开发一种定量方法，以确定人机协作中人类与机器人之间适当的分工。
• 通过利用利普希茨条件识别混淆的输入-输出关系，解决人类运动不可预测性带来的机器人控制挑战。
• 通过发现降低利普希茨商数的缺失变量或隐状态，提高人类示范的可预测性。
• 在共享控制框架中整合自愿控制与反应式控制，基于可预测性采用加权和方法，最小化人类工作负荷与机器人干扰。
• 在真实应用场景中验证该方法：使用超肢体（Supernumerary Robotic Limb）协助偏瘫患者完成双臂进餐任务。

提出的方法

• 从人类示范数据中计算利普希茨商数，以评估输入-输出映射的可预测性，高商数表明关系不可预测或存在混淆。
• 使用隐马尔可夫模型（HMM）从示范数据中推断任务模式，并将这些模式信息加入输入空间，以解决混淆情况并降低利普希茨商数。
• 该方法识别出即使加入任务模式信息后利普希茨商数仍较高的情况，将其指定为不可预测，分配给人类自愿控制。
• 对利普希茨商数较低的数据应用反应式控制，而对高商数情况分配自愿控制，采用控制的加权和实现平滑集成。
• 通过利普希茨商数的阈值调节，实现机器人自主性与人类干预之间的权衡。
• 该方法在双臂进餐任务中得到验证，其中超肢体（SuperLimb）协助偏瘫患者持刀，与患者的功能手协调配合。

实验结果

研究问题

• RQ1 如何将利普希茨条件扩展以量化人机协作中人类运动的可预测性？
• RQ2 哪些缺失或隐藏变量可被识别以降低利普希茨商数并提高人类示范的可预测性？
• RQ3 如何设计共享控制系统，以将可预测动作分配给机器人的反应式控制，将不可预测动作分配给人类的自愿控制？
• RQ4 机器人预测准确率与人类控制努力之间的权衡是什么？如何利用利普希茨阈值对其进行定量管理？
• RQ5 该方法能否通过最小化干扰与认知负荷，有效支持康复中的双臂任务（如使用超肢体进餐）？

主要发现

• 从HMM获取的任务模式信息显著降低了大量运动模式的利普希茨商数，提高了人类示范的可预测性。
• 尽管加入了任务模式信号，某些运动（尤其是往复刀切动作）仍表现出高度不可预测性，这验证了其应分配给自愿控制的合理性。
• 随着利普希茨常数阈值的降低，反应式控制的均方根误差（RMSE）减小，表明预测准确率提高。
• 随着利普希茨阈值的降低，自愿控制的努力程度增加，反映出机器人自主性与人类工作负荷之间的权衡。
• 该方法成功实现了共享控制系统，使得机器人的反应式控制在不可预测情况下不会干扰人类的自愿控制。
• 该框架在真实世界双臂进餐任务中有效集成了人类与机器人的控制，使用超肢体（Supernumerary Robotic Limb）支持了偏瘫患者。