[论文解读] Policy Certificates: Towards Accountable Reinforcement Learning

Christoph Dann, Lihong Li+2 more|arXiv (Cornell University)|Nov 7, 2018

Advanced Bandit Algorithms Research参考文献 43被引用 19

一句话总结

本文提出了策略证书——基于期望回报的置信区间和次优性边界——用于强化学习，实现在训练过程中的实时可问责性。通过将‘面对不确定性时的乐观’（OFU）与基于模型的策略评估相结合，所提出的ORLC算法在低阶项范围内实现了极小化最大值最优的PAC边界，并在表格型MDP中展现出卓越的样本效率，尤其在高时域设置下表现更优。

ABSTRACT

The performance of a reinforcement learning algorithm can vary drastically during learning because of exploration. Existing algorithms provide little information about the quality of their current policy before executing it, and thus have limited use in high-stakes applications like healthcare. We address this lack of accountability by proposing that algorithms output policy certificates. These certificates bound the sub-optimality and return of the policy in the next episode, allowing humans to intervene when the certified quality is not satisfactory. We further introduce two new algorithms with certificates and present a new framework for theoretical analysis that guarantees the quality of their policies and certificates. For tabular MDPs, we show that computing certificates can even improve the sample-efficiency of optimism-based exploration. As a result, one of our algorithms is the first to achieve minimax-optimal PAC bounds up to lower-order terms, and this algorithm also matches (and in some settings slightly improves upon) existing minimax regret bounds.

研究动机与目标

• 为解决探索过程中性能波动导致强化学习缺乏可问责性的问题。
• 在高风险应用中，当策略性能低于认证阈值时，支持人工干预。
• 构建IPOC理论框架，以在学习过程中保证每集的性能边界，其强度超过遗憾、PAC或KWIK框架。
• 通过在OFU算法中利用策略证书，提升样本效率。
• 将可问责性扩展至上下文MDP，其中策略质量随患者或上下文特征而变化。

提出的方法

• 提出策略证书，包括对期望回报的置信区间（策略回报证书）和对次优性的边界（策略最优性证书）。
• 引入IPOC框架，以形式化分析每集的性能保证，其强度超过遗憾、PAC或KWIK框架。
• 将基于OFU的策略学习与基于模型的策略评估相结合，使用相同的经验模型来估计回报和最优性边界。
• 利用对转移和奖励模型的置信集，计算策略回报和最优回报的鲁棒边界。
• 将该方法应用于表格型MDP和具有线性上下文的有限MDP，实现上下文感知的性能认证。
• 利用乐观与置信集之间的对偶性，同时提升策略学习和证书准确性的性能。

实验结果

研究问题

• RQ1 强化学习算法能否在训练过程中提供实时、可解释的性能保证，以支持人工监督？
• RQ2 如何构建策略证书，以同时约束 episodic RL 中的期望回报和次优性？
• RQ3 在基于OFU的强化学习算法中，引入策略证书是否能提升样本效率？
• RQ4 IPOC框架能否提供强于现有框架（如PAC、遗憾或KWIK）的理论保证？
• RQ5 在性能波动性较高的高时域或上下文依赖型MDP中，策略证书的表现如何？

主要发现

• 在表格型MDP中，ORLC算法在低阶项范围内实现了极小化最大值最优的PAC边界，优于现有最先进方法的边界。
• 在高时域MDP（H=50）中，ORLC收敛到最优策略的速度显著快于UCBVI-BF和UBEV，尽管两者均具有极小化最大值最优的遗憾边界。
• 在ORLC中，策略证书成功预测了探索过程中的性能下降，即使在无上下文的多臂赌博机问题中，基于上下文的基线方法也失效。
• 计算证书的过程本身提升了OFU算法的性能，表明认证与学习效率之间存在协同效应。
• 在上下文MDP中，策略证书能够提前检测出罕见或异常上下文下的低质量策略，从而实现及时的人工干预。
• 实证结果表明，ORLC中由证书计算得出的更紧致的乐观奖励，相比UCBVI-BF中近似边界的处理，显著提升了样本效率。