[论文解读] Scalable Bayesian Inverse Reinforcement Learning

Alex Chan, Mihaela van der Schaar|arXiv (Cornell University)|Feb 12, 2021

Reinforcement Learning in Robotics参考文献 39被引用 11

一句话总结

该论文提出AVRIL，一种可扩展的贝叶斯逆强化学习方法，通过神经网络以离线、端到端的方式联合学习奖励的变分后验分布和模仿策略。该方法在临床决策和控制任务等复杂环境中实现了贝叶斯奖励推理，性能与最先进的离线模仿学习方法相当，同时提供可解释的奖励洞察和不确定性估计。

ABSTRACT

Bayesian inference over the reward presents an ideal solution to the ill-posed nature of the inverse reinforcement learning problem. Unfortunately current methods generally do not scale well beyond the small tabular setting due to the need for an inner-loop MDP solver, and even non-Bayesian methods that do themselves scale often require extensive interaction with the environment to perform well, being inappropriate for high stakes or costly applications such as healthcare. In this paper we introduce our method, Approximate Variational Reward Imitation Learning (AVRIL), that addresses both of these issues by jointly learning an approximate posterior distribution over the reward that scales to arbitrarily complicated state spaces alongside an appropriate policy in a completely offline manner through a variational approach to said latent reward. Applying our method to real medical data alongside classic control simulations, we demonstrate Bayesian reward inference in environments beyond the scope of current methods, as well as task performance competitive with focused offline imitation learning algorithms.

研究动机与目标

• 解决贝叶斯逆强化学习（BIRL）在复杂、高维环境中可扩展性受限的问题。
• 在无需环境交互的情况下实现离线、安全的模仿学习，这对医疗等高风险应用至关重要。
• 提供奖励的后验分布，以捕捉不确定性并揭示示范者的偏好。
• 在自编码器式框架中，联合优化奖励的变分后验分布与策略网络。
• 提供反映现实世界临床优先事项（如血压和血氧水平）的可解释奖励表示。

提出的方法

• AVRIL采用变分贝叶斯框架，近似潜在奖励的后验分布，将奖励视为行为的潜在表征。
• 它使用编码器网络将示范轨迹映射为奖励分布，使用解码器（策略网络）根据奖励生成行为。
• 该方法以端到端方式离线训练，通过在示范数据上 amortized 推断，避免了昂贵的内层MDP求解器。
• 通过 amortized 推断近似奖励后验，使方法可扩展至大状态空间和复杂函数类（如深度神经网络）。
• 该框架通过联合优化目标实现灵活的奖励建模与策略学习，最小化重构误差和KL散度项。
• 通过状态特征上的线性模型支持可解释的奖励表示，从而揭示驱动高奖励的环境因素。

实验结果

研究问题

• RQ1 贝叶斯逆强化学习能否在无需内层MDP求解的情况下扩展至复杂、高维环境？
• RQ2 离线模仿学习能否在医疗等现实应用中同时实现高策略性能与有意义的奖励推理？
• RQ3 如何利用奖励后验中的不确定性来提升高风险决策中的安全性和可解释性？
• RQ4 联合变分推理框架能否有效从静态示范数据中学习奖励与策略表征？
• RQ5 所学奖励模型在多大程度上能反映临床相关优先事项（如血流动力学稳定性）？

主要发现

• 尽管AVRIL是完全离线且贝叶斯的，其在控制任务和真实医疗数据上的策略性能仍与专用的离线模仿学习算法相当。
• 该方法成功在以往对BIRL不可行的复杂环境中实现贝叶斯奖励推理，包括MIMIC-III中的复杂医疗决策。
• 在网格世界环境中，奖励后验均值与真实奖励高度吻合，不确定性（标准差）集中在未访问状态，反映出认知不确定性。
• 当使用线性奖励模型时，AVRIL识别出血压是决定状态质量的最关键因素，与临床知识一致。
• 该方法揭示，当血氧水平低于平均水平时，通气操作会受到强烈奖励，体现出直观且临床合理的奖励设计。
• AVRIL通过线性系数分析实现可解释性，表明模型学会了优先考虑已知的临床指标，如血压和氧合水平。