[论文解读] NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities

Ruohan Zhang, Sharon Lee+12 more|arXiv (Cornell University)|Nov 2, 2023

EEG and Brain-Computer Interfaces被引用 8

一句话总结

NOIR 展示了一个使用非侵入性 EEG 来指挥机器人完成 20 项日常任务的通用型脑-机器人接口，具模块化意图解码流程及少样本学习以提升效率。

ABSTRACT

We present Neural Signal Operated Intelligent Robots (NOIR), a general-purpose, intelligent brain-robot interface system that enables humans to command robots to perform everyday activities through brain signals. Through this interface, humans communicate their intended objects of interest and actions to the robots using electroencephalography (EEG). Our novel system demonstrates success in an expansive array of 20 challenging, everyday household activities, including cooking, cleaning, personal care, and entertainment. The effectiveness of the system is improved by its synergistic integration of robot learning algorithms, allowing for NOIR to adapt to individual users and predict their intentions. Our work enhances the way humans interact with robots, replacing traditional channels of interaction with direct, neural communication. Project website: https://noir-corl.github.io/.

研究动机与目标

• 推动需要超越任务特定系统的通用脑-机器人接口的需求。
• 开发一个模块化解码流程，将意图分解为 what、how、where 的来自 EEG 的信号。
• 为机器人提供一个参数化原始技能库，以执行高层目标。
• 结合少样本模仿学习以适应个人用户并提高效率。

提出的方法

• 基于 SSVEP 的对象选择解码，使用 CCA，并通过 OWL-ViT 进行对象分割。
• 利用 CSP+QDA，结合有限的标定数据，从运动想象中解码交互方式及参数。
• 通过 EMG 引入安全机制以确认或中断解码结果。
• 将机器人动作表示为参数化原始技能，并在 Panda 手臂和 Tiago 机器人上实现。
• 使用基于检索的少样本学习，结合 R3M 特征，从记忆中预测对象-技能选择。
• 通过基于 DINOv2 的语义匹配进行一次学习的参数学习，以预测光标目标点。

Figure 1: NOIR is a general-purpose brain-robot interface that allows humans to use their brain signals (1) to control robots to perform daily activities, such as making Sukiyaki (2), ironing clothes (7), playing Tic-Tac-Toe with friends (17), and petting a robot dog (21).

实验结果

研究问题

• RQ1 NOIR 在 EEG 解码下能否对 20 项日常活动实现广泛泛化？
• RQ2 实际应用中各解码阶段（What、How、Where）及安全确认的准确性如何？
• RQ3 少样本学习组件是否提升任务效率并减少人力投入？
• RQ4 机器人是否能在有限标定数据下适应个体用户并完成复杂任务？

主要发现

Task	Task horizon	# Attempts	Time (min)	Human time (%)
WipeSpill	4.33	1.00	14.74	79.02
CollectToy	7.67	1.33	25.24	83.97
SweepTrash	5.67	2.33	20.59	82.34
CleanBook	7.00	3.33	27.73	80.00
IronCloth	4.67	2.33	16.95	79.56
OpenBasket	5.33	1.67	15.90	82.03
PourTea	4.00	1.67	13.53	83.15
SetTable	8.33	5.67	20.91	81.15
GrateCheese	7.00	1.33	24.98	81.79
CutBanana	5.33	1.67	17.68	81.21
CookPasta	8.33	1.67	30.06	83.26
Sandwich	9.00	1.67	27.87	82.71
Hockey	5.00	1.33	15.83	82.00
OpenGift	7.00	2.67	23.57	79.90
TicTacToe	14.33	2.00	43.08	80.54
Sukiyaki	13.00	1.00	43.45	84.85
TrashDisposal	8.00	1.00	7.25	55.32
CovidCare	8.00	1.00	8.80	62.29
WaterPlant	4.00	1.00	3.00	87.41
PetDog	6.00	1.00	4.58	87.53

• NOIR 在对象选择解码方面达到较高准确度（SSVEP，4 类分类，81.2%）。
• 基于 MI 的两类参数选择（How）达到 73.9% 的任务时间准确率；四类技能选择（What）约 42.2%。
• 总体解码准确性支持在所测试任务中实现安全操作，具 100% 的安全中断机制。
• 对象-技能检索学习将选择时间减少约 60%（从 45.7s 降至 18.1s）。
• 使用 DINOv2 的一次性参数学习实现准确的光标目标预测，光标移动需求降低约 41%。
• 系统在桌面和平板移动操作中成功完成 20 项任务，且人机干预极少。

Figure 2: NOIR has two components, a modular pipeline for decoding goals from human brain signals, and a robotic system with a library of primitive skills. The robots possess the ability to learn to predict human intended goals hence reducing the human effort required for decoding.