[论文解读] Robust Intervention Learning from Emergency Stop Interventions

Ethan Pronovost, Khimya Khetarpal+1 more|arXiv (Cornell University)|Feb 3, 2026

Reinforcement Learning in Robotics被引用 0

一句话总结

这篇论文提出了 Robust Intervention Learning (RIL) 和 Residual Intervention Fine-Tuning (RIFT)，一种通过将不完美的紧急停止信号与先前策略通过残差Q学习相结合来改进策略的方法。它提供了理论与实验，展示在不同的干预信息量和先验质量下，何时可以实现原理性的策略改进。

ABSTRACT

Human interventions are a common source of data in autonomous systems during testing. These interventions provide an important signal about where the current policy needs improvement, but are often noisy and incomplete. We define Robust Intervention Learning (RIL) as the problem of learning from intervention data while remaining robust to the quality and informativeness of the intervention signal. In the best case, interventions are precise and avoiding them is sufficient to solve the task, but in many realistic settings avoiding interventions is necessary but not sufficient for achieving good performance. We study robust intervention learning in the context of emergency stop interventions and propose Residual Intervention Fine-Tuning (RIFT), a residual fine-tuning algorithm that treats intervention feedback as an incomplete learning signal and explicitly combines it with a prior policy. By framing intervention learning as a fine-tuning problem, our approach leverages structure encoded in the prior policy to resolve ambiguity when intervention signals under-specify the task. We provide theoretical analysis characterizing conditions under which this formulation yields principled policy improvement, and identify regimes where intervention learning is expected to fail. Our experiments reveal that residual fine-tuning enables robust and consistent policy improvement across a range of intervention strategies and prior policy qualities, and highlight robust intervention learning as a promising direction for future work.

研究动机与目标

• 为从不完美部署干预中学习提供动机，其中单纯避免干预并不足以解决任务。
• 提出一种融合干预反馈与先验策略的残差微调方法。
• 给出在干预引导的微调下能够提升策略性能的理论条件。
• 展示 RIFT 对不同干预策略和先验策略质量的鲁棒性。

提出的方法

• 将鲁棒干预学习形式化为需要将干预反馈与先验策略相结合的、不完整的干预策略学习。
• 引入 Residual Intervention Fine-Tuning (RIFT)，其使用残差Q学习目标在对先验策略进行正则化的同时引入干预的负奖励。
• 将紧急停止干预建模为概率为 φ 的伯努利信号，并推导引导策略更新的残差Bellman方程。
• 证明当熵系数与干预权重相匹配时，RIFT 相当于一个等价于残差Q学习的微调目标。
• 提供理论分析，将干预策略与通过访问率（visitation）和优势差（advantage differences）相关联，从而实现策略改进。
• 在 Gym 环境中用仿真专家与不同先验进行评估，以评估鲁棒性并给出关于超参数 omega 的指导。

实验结果

研究问题

• RQ1 在什么条件下紧急停止干预加先验策略会带来策略改进，而不仅仅是避免干预？
• RQ2 应如何将干预反馈与先验策略结合以解决不完全监督中固有的任务歧义？
• RQ3 在什么理论保证或范式下，残余干预微调可以改善策略性能？
• RQ4 RIFT 对干预信息量和先验策略质量的敏感度有多大？

主要发现

• 与未正则化基线相比，RIFT 在一系列干预策略和先验策略质量下提升了策略性能。
• 在干预信息较少时，增加指向先验策略的 KL 正则化项有帮助。
• 在一个相对较小但较宽的正则化强度 omega 区间内，结合干预信息的几乎最优性能是可实现的，这取决于干预信息量。
• 以残差微调视角阐明何时以及为何将干预与先验策略结合能够实现原理性的改进。
• 存在当先验策略提供的信息除了干预之外再无额外信息，或当 omega 设置过高时的失败案例，这表明需要补充信息和适当调参。