[论文解读] Reward Uncertainty for Exploration in Preference-based Reinforcement Learning

Xinran Liang, Katherine Lin Shu+2 more|arXiv (Cornell University)|May 24, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出了 RUNE（Reward Uncertainty for Exploration），一种基于偏好强化学习的内在探索奖励机制，通过利用一组已学习奖励模型的不确定性来引导探索。通过将奖励模型之间的分歧程度作为反馈不确定性的代理指标，RUNE 在 MetaWorld 机器人操作任务中提升了样本效率和反馈效率，优于依赖状态访问新颖性的最先进方法。

ABSTRACT

Conveying complex objectives to reinforcement learning (RL) agents often requires meticulous reward engineering. Preference-based RL methods are able to learn a more flexible reward model based on human preferences by actively incorporating human feedback, i.e. teacher's preferences between two clips of behaviors. However, poor feedback-efficiency still remains a problem in current preference-based RL algorithms, as tailored human feedback is very expensive. To handle this issue, previous methods have mainly focused on improving query selection and policy initialization. At the same time, recent exploration methods have proven to be a recipe for improving sample-efficiency in RL. We present an exploration method specifically for preference-based RL algorithms. Our main idea is to design an intrinsic reward by measuring the novelty based on learned reward. Specifically, we utilize disagreement across ensemble of learned reward models. Our intuition is that disagreement in learned reward model reflects uncertainty in tailored human feedback and could be useful for exploration. Our experiments show that exploration bonus from uncertainty in learned reward improves both feedback- and sample-efficiency of preference-based RL algorithms on complex robot manipulation tasks from MetaWorld benchmarks, compared with other existing exploration methods that measure the novelty of state visitation.

研究动机与目标

• 提升基于偏好的强化学习中的反馈效率与样本效率，其中人类反馈成本高且有限。
• 解决尽管基于偏好的强化学习在标准强化学习中已证明成功，但缺乏针对此类方法的探索方法的问题。
• 探究从人类偏好中学习到的奖励函数不确定性是否可作为探索的有意义内在奖励。
• 开发一种通过利用奖励预测不确定性来使探索与人类偏好对齐的方法。

提出的方法

• RUNE 使用基于人类偏好反馈训练的一组奖励模型，以估计奖励预测的不确定性。
• 内在探索奖励通过计算该集合在状态-动作对上的预测奖励的标准差获得。
• 该不确定性信号反映了人类反馈中的模糊性，引导智能体探索反馈不确定性更高的区域。
• 学习的总奖励由环境的外在奖励、集合预测的平均值以及内在不确定性奖励三者组合而成。
• 该方法与现有基于偏好的强化学习算法兼容，除训练一组奖励模型外，无需任何架构修改。
• 探索由奖励不确定性驱动，而非状态访问频率，从而确保与人类偏好的对齐。

实验结果

研究问题

• RQ1 学习到的奖励函数的不确定性是否可在基于偏好的强化学习中作为有效的内在奖励用于探索？
• RQ2 与基于偏好的强化学习中最先进的探索方法相比，使用奖励不确定性是否能提升反馈效率与样本效率？
• RQ3 该方法在不同数量的人类反馈查询和不同集合规模下是否具有鲁棒性？
• RQ4 基于奖励不确定性的内在奖励是否能加速收敛至真实奖励函数？
• RQ5 在低反馈预算下，该方法是否能保持性能，使其适用于人类输入有限的真实应用场景？

主要发现

• RUNE 在 MetaWorld 任务中提升了样本效率，相较于 PEBBLE 和其他基线方法，以更少的环境交互次数实现了更高的成功率。
• 即使反馈预算减少 80%，RUNE 仍保持优异性能，而 PEBBLE 基线的渐近成功率显著下降。
• RUNE 中学习到的奖励函数收敛更快，且与真实奖励的 EPIC 距离更小，表明奖励对齐性更优。
• 该方法在不同集合规模（3、5、7）下均表现稳定，样本效率未出现退化。
• 基于奖励不确定性的内在奖励能引导更有效的探索，且与人类偏好对齐，表现为策略学习更快、反馈效率更高。