[论文解读] The Boltzmann Policy Distribution: Accounting for Systematic Suboptimality in Human Models

Cassidy Laidlaw, Anca D. Dragan|arXiv (Cornell University)|Apr 22, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出了玻尔兹曼策略分布（BPD），一种新颖的、基于奖励条件的人类模型，通过建模策略随时间的依赖关系而非轨迹，捕捉系统性次优行为。利用生成模型实现高效采样的贝叶斯推断，BPD能够在远少于模仿学习所需数据量的情况下，实现对人类行为的精确预测，并在人类-智能体协作中表现更优，优于玻尔兹曼理性，在预测与协作任务中均表现更佳。

ABSTRACT

Models of human behavior for prediction and collaboration tend to fall into two categories: ones that learn from large amounts of data via imitation learning, and ones that assume human behavior to be noisily-optimal for some reward function. The former are very useful, but only when it is possible to gather a lot of human data in the target environment and distribution. The advantage of the latter type, which includes Boltzmann rationality, is the ability to make accurate predictions in new environments without extensive data when humans are actually close to optimal. However, these models fail when humans exhibit systematic suboptimality, i.e. when their deviations from optimal behavior are not independent, but instead consistent over time. Our key insight is that systematic suboptimality can be modeled by predicting policies, which couple action choices over time, instead of trajectories. We introduce the Boltzmann policy distribution (BPD), which serves as a prior over human policies and adapts via Bayesian inference to capture systematic deviations by observing human actions during a single episode. The BPD is difficult to compute and represent because policies lie in a high-dimensional continuous space, but we leverage tools from generative and sequence models to enable efficient sampling and inference. We show that the BPD enables prediction of human behavior and human-AI collaboration equally as well as imitation learning-based human models while using far less data.

研究动机与目标

• 为解决玻尔兹曼理性在建模系统性次优人类行为时的局限性，该局限源于时间上一致的动作依赖性。
• 开发一种基于奖励条件的人类模型，捕捉策略层面的依赖关系而非轨迹层面的随机性，从而实现从有限数据中更好的泛化与推理。
• 通过在策略上进行贝叶斯推断，学习自适应策略，以反映人类行为的一致性，从而实现有效的人类-智能体协作。
• 证明建模策略而非轨迹可实现更精确的人类行为预测，并在更少数据下获得更优的协作性能。
• 为改进奖励学习提供基础，通过提供更准确的人类行为逆模型。

提出的方法

• 提出玻尔兹曼策略分布（BPD）作为人类策略的先验，通过时间相关的动作依赖性建模对最优性的系统性偏离。
• 使用贝叶斯推断，基于单个回合中观察到的人类动作更新BPD后验，以适应系统性次优行为。
• 利用生成建模与序列建模工具（如归一化流、变分推断）实现高维连续策略的高效采样与表征。
• 使用PPO训练协作智能体策略，其中人类动作被建模为从BPD或最大熵分布中采样，使机器人能够适应人类策略动态。
• 比较基于BPD的协作策略（有记忆与无记忆）以评估时间适应在人类-智能体协调中的价值。
• 采用最大后验（MAP）与平均场变分推断（MFVI）近似，在保持预测准确性的同时实现BPD中推断的可扩展性。

实验结果

研究问题

• RQ1 当人类表现出系统性次优行为时，建模策略而非轨迹是否能提升人类行为的预测性能？
• RQ2 当仅有一个回合的人类数据可用时，BPD是否能实现比玻尔兹曼理性更准确的人类-智能体协作？
• RQ3 BPD捕捉人类动作时间依赖性能力如何影响协作智能体策略的性能？
• RQ4 与模仿学习相比，BPD在有效建模人类行为方面能将数据需求降低到何种程度？
• RQ5 BPD能否作为更优的逆模型用于奖励学习，从而更准确地反映人类行为模式？

主要发现

• 尽管使用的人类数据显著更少，BPD的预测精度与行为克隆模型相当，验证了其作为数据高效人类模型的有效性。
• 玻尔兹曼理性在系统性次优设置下无法准确预测人类行为，在某些环境中表现甚至不如随机猜测，而BPD始终保持强大的预测能力。
• 基于BPD的协作策略在所有三个Overcooked布局中均优于基于玻尔兹曼理性的策略，证明了其在人类-智能体团队协作中的优越协调能力。
• 即使没有显式记忆，基于BPD的协作策略性能也几乎与带记忆的策略相当，表明BPD本身已内嵌时间一致性，支持有效适应。
• MFVI对BPD的近似性能劣于MAP推断，证实完整后验表征对准确建模策略层面依赖关系至关重要。
• BPD可在极低数据量下实现有效的人类-智能体协作，表明策略层面建模是数据密集型模仿学习的可行替代方案。