[论文解读] Plug-and-Play Stability for Intracortical Brain-Computer Interfaces: A One-Year Demonstration of Seamless Brain-to-Text Communication

Chaofei Fan, Nick Hahn+7 more|PubMed|Nov 6, 2023

EEG and Brain-Computer Interfaces参考文献 27被引用 19

一句话总结

简要结论：CORP 通过语言模型纠正的伪标签实现了对 iBCI 书写解码器的持续在线重新标定，在没有监督数据的情况下实现了超过 403 天的长期稳定性。

ABSTRACT

Intracortical brain-computer interfaces (iBCIs) have shown promise for restoring rapid communication to people with neurological disorders such as amyotrophic lateral sclerosis (ALS). However, to maintain high performance over time, iBCIs typically need frequent recalibration to combat changes in the neural recordings that accrue over days. This requires iBCI users to stop using the iBCI and engage in supervised data collection, making the iBCI system hard to use. In this paper, we propose a method that enables self-recalibration of communication iBCIs without interrupting the user. Our method leverages large language models (LMs) to automatically correct errors in iBCI outputs. The self-recalibration process uses these corrected outputs ("pseudo-labels") to continually update the iBCI decoder online. Over a period of more than one year (403 days), we evaluated our Continual Online Recalibration with Pseudo-labels (CORP) framework with one clinical trial participant. CORP achieved a stable decoding accuracy of 93.84% in an online handwriting iBCI task, significantly outperforming other baseline methods. Notably, this is the longest-running iBCI stability demonstration involving a human participant. Our results provide the first evidence for long-term stabilization of a plug-and-play, high-performance communication iBCI, addressing a major barrier for the clinical translation of iBCIs.

研究动机与目标

• 解决需要频繁监督重新标定的皮层内脑机接口解码中的非平稳性。
• 开发在在线进行而不中断用户操作的自我重新标定框架。
• 利用语言模型纠正 iBCI 输出并使用伪标签持续重新训练解码器。
• 演示长期稳定性并量化种子模型质量与重新标定所需的数据量。

提出的方法

• 引入 CORP: Continual Online Recalibration with Pseudo-labels for iBCIs.
• 使用语言模型自动纠正 iBCI 输出并生成伪标签。
• 应用在线随机梯度下降，使用带回放缓冲的伪标签重新训练解码器。
• 加入数据增强（对特征的噪声和均值偏移）以提高鲁棒性。
• 采用基于损失阈值和学习率的停止准则，在准确性与重新标定时间之间取得平衡。
• 在离线和在线性能方面，与基线（包括无重新标定和 FA Stabilizer）进行对比评估。

实验结果

研究问题

• RQ1 CORP 是否能够在长时间的非平稳运行中无需监督再训练就维持高水平的 iBCI 解码准确性？
• RQ2 在持续在线重新标定中，LM 辅助的伪标签对性能的影响如何？
• RQ3 对实现长期稳定性所需的数据量（种子数据、重新标定样本）是多少？
• RQ4 与无监督的分布对齐方法（如 FA Stabilizer）相比，CORP 在书写 iBCI 上的表现如何？
• RQ5 重新标定时间与准确性之间存在哪些权衡？

主要发现

• CORP 在 403 天内平均在线书写解码准确率保持在 93.84%（±2.28）。
• 种子模型的日0 CER 为 3.22%；在使用 CORP 时，CER 保持较低（在线区块为 6.35%±1.75%），并在不同日期保持稳定。
• CORP 的离线 WER 为 3.68%（95% CI [3.21, 4.76]）；在线 WER 为 6.16%（CORP），而无重新标定为 26.51%。
• 在地面真实标签条件下，CORP 可达到 2.0% WER，显示了潜在的下限；CORP 通过伪标签接近此上限。
• LM 修正的伪标签对重新标定的准确性贡献最大；在没有语言模型的消融中 CER 提高到 19.22%。
• 重新标定仅需较少数据量（大约 10 条语句即可显著恢复）；种子数据来自约 10 天后收益递减。