[论文解读] Spiking Neural Networks for Early Prediction in Human Robot Collaboration

Tian Zhou, Juan Wachs|arXiv (Cornell University)|Jul 29, 2018

Action Observation and Synchronization参考文献 55被引用 5

一句话总结

该论文提出了一种用于预测人机协作中人类轮换意图的脉冲神经网络模型——轮换脉冲神经网络（TTSNet），该模型利用多模态线索（物理、神经和生理）进行预测。在动作完成度为100%时，F1得分为0.894，当动作完成度低于40%时，其性能超越人类，实现在外科场景中的主动机器人辅助。

ABSTRACT

This paper introduces the Turn-Taking Spiking Neural Network (TTSNet), which is a cognitive model to perform early turn-taking prediction about human or agent's intentions. The TTSNet framework relies on implicit and explicit multimodal communication cues (physical, neurological and physiological) to be able to predict when the turn-taking event will occur in a robust and unambiguous fashion. To test the theories proposed, the TTSNet framework was implemented on an assistant robotic nurse, which predicts surgeon's turn-taking intentions and delivers surgical instruments accordingly. Experiments were conducted to evaluate TTSNet's performance in early turn-taking prediction. It was found to reach a F1 score of 0.683 given 10% of completed action, and a F1 score of 0.852 at 50% and 0.894 at 100% of the completed action. This performance outperformed multiple state-of-the-art algorithms, and surpassed human performance when limited partial observation is given (< 40%). Such early turn-taking prediction capability would allow robots to perform collaborative actions proactively, in order to facilitate collaboration and increase team efficiency.

研究动机与目标

• 开发一种认知模型，使机器人能够预测协作任务中人类的轮换意图。
• 整合多模态线索（物理、神经和生理）以实现对人类意图的鲁棒且明确的预测。
• 在实时人机协作中评估所提模型的性能，特别是在外科辅助场景中的表现。
• 证明在部分观察条件下，该模型优于现有算法和人类专家。

提出的方法

• TTSNet 框架采用脉冲神经网络来建模人机交互中的时间动态特性。
• 它整合了隐式和显式的多模态信号，包括运动、注视以及肌电图（EMG）或脑电图（EEG）等生理信号。
• 该网络被训练为基于部分动作序列预测轮换事件的发生时间。
• 该模型采用脉冲神经元架构，以高效处理时间信息并模拟生物神经处理机制。
• 系统在机器人护士场景中进行评估，用于预测外科手术过程中外科医生对器械的请求。
• 性能通过在不同动作完成阶段（10%、50%、100%）的F1得分进行衡量。

实验结果

研究问题

• RQ1 脉冲神经网络能否有效利用多模态线索预测人机协作中的人类轮换意图？
• RQ2 在部分观察条件下，TTSNet 模型能以多高精度实现轮换事件的早期预测？
• RQ3 在早期预测任务中，TTSNet 模型是否优于当前最先进的算法和人类专家？
• RQ4 整合神经和生理信号对预测鲁棒性和准确性有何影响？

主要发现

• 当仅完成10%动作时，TTSNet 的 F1 得分为 0.683。
• 在动作完成50%时，F1 得分提升至 0.852，完成100%时达到 0.894。
• 当仅提供少于40%的动作序列时，该模型在早期预测中超越了人类表现。
• 整合多模态线索（物理、神经和生理）显著提升了预测的鲁棒性和准确性。