[论文解读] On the Feasibility of Learning, Rather than Assuming, Human Biases for Reward Inference

Rohin Shah, Noah Gundotra+2 more|arXiv (Cornell University)|Jun 23, 2019

Decision-Making and Behavioral Economics参考文献 27被引用 14

一句话总结

本文研究了直接从示范中学习人类规划偏见，使用可微分规划器在不假设特定偏见（如理性或短视）的前提下推断奖励函数。尽管学习规划器能改善偏见适应性，但近似可微分规划带来的性能损失超过了这一优势，表明需要更优的可微分规划方法，才能使数据驱动的偏见学习方法具有可行性。

ABSTRACT

Our goal is for agents to optimize the right reward function, despite how difficult it is for us to specify what that is. Inverse Reinforcement Learning (IRL) enables us to infer reward functions from demonstrations, but it usually assumes that the expert is noisily optimal. Real people, on the other hand, often have systematic biases: risk-aversion, myopia, etc. One option is to try to characterize these biases and account for them explicitly during learning. But in the era of deep learning, a natural suggestion researchers make is to avoid mathematical models of human behavior that are fraught with specific assumptions, and instead use a purely data-driven approach. We decided to put this to the test -- rather than relying on assumptions about which specific bias the demonstrator has when planning, we instead learn the demonstrator's planning algorithm that they use to generate demonstrations, as a differentiable planner. Our exploration yielded mixed findings: on the one hand, learning the planner can lead to better reward inference than relying on the wrong assumption; on the other hand, this benefit is dwarfed by the loss we incur by going from an exact to a differentiable planner. This suggest that at least for the foreseeable future, agents need a middle ground between the flexibility of data-driven methods and the useful bias of known human biases. Code is available at https://tinyurl.com/learningbiases.

研究动机与目标

• 探究是否能够从数据中学习人类规划偏见，而非在逆强化学习中假设固定偏见。
• 解决人类示范者表现出系统性偏见（如短视或规划谬误）时的奖励推断挑战。
• 评估数据驱动方法——即学习示范者的规划器——是否能优于传统逆强化学习方法中假设特定理性模型的方法。
• 识别使端到端学习人类偏见成为实际可行方法所需的结构假设与算法改进。

提出的方法

• 提出一种可微分规划器，从示范中学习示范者的策略生成过程，实现规划过程的端到端反向传播。
• 使用软值迭代（用logsumexp替代max）使值迭代可微分，从而支持对规划器和奖励函数的基于梯度的优化。
• 通过反向传播联合训练奖励函数与规划器，并引入最优性正则化以稳定学习过程。
• 在监督设置下评估该方法，其中已知真实奖励，从而可集中学习规划器组件。
• 与基线方法进行比较，包括精确理性规划（如值迭代）和固定偏见假设（如噪声理性）。
• 进行消融研究，评估联合训练、以最优策略初始化以及坐标上升与联合优化的影响。

实验结果

研究问题

• RQ1 可微分规划器是否能在不假设特定偏见模型的前提下，从示范中学习人类偏见？
• RQ2 通过学习的规划器进行奖励推断的性能，与使用精确非可微分规划器相比如何？
• RQ3 以最优行为初始化规划器对下游奖励推断性能有何影响？
• RQ4 联合训练奖励与规划器是否优于坐标上升优化方法？
• RQ5 假设示范者近似理性对于成功学习偏见有多关键？

主要发现

• 使用精确的、可微分的示范者模型（软值迭代）实现了最大奖励的98.1%，表明在规划精确时的性能上限。
• 所提出的可微分规划器（算法1）实现了最大奖励的86.9%，表明由于规划中的近似导致显著性能下降。
• 算法2通过初始化规划器以模仿最优行为，实现了最大奖励的86.2%，证实初始化对性能至关重要。
• 联合训练奖励与规划器优于坐标上升，表明端到端优化比交替更新更有效。
• 学习系统性偏见的收益被可微分规划引入的近似误差所抵消，表明当前深度学习架构尚不适合该方法。