[论文解读] Resolving Spurious Correlations in Causal Models of Environments via Interventions

Sergei Volodin, Nevan Wichers+1 more|arXiv (Cornell University)|Feb 12, 2020

Reinforcement Learning in Robotics参考文献 31被引用 5

一句话总结

本文提出一种基于强化学习的方法，通过设计能提升因果模型准确性的干预措施，以解决因果模型中虚假相关性的问题。通过训练智能体使用学习到的干预奖励执行有针对性的干预，该方法收集能暴露并纠正虚假关联的数据，从而相比从随机或环境奖励策略中学习，得到更鲁棒且更准确的因果图。

ABSTRACT

Causal models bring many benefits to decision-making systems (or agents) by making them interpretable, sample-efficient, and robust to changes in the input distribution. However, spurious correlations can lead to wrong causal models and predictions. We consider the problem of inferring a causal model of a reinforcement learning environment and we propose a method to deal with spurious correlations. Specifically, our method designs a reward function that incentivizes an agent to do an intervention to find errors in the causal model. The data obtained from doing the intervention is used to improve the causal model. We propose several intervention design methods and compare them. The experimental results in a grid-world environment show that our approach leads to better causal models compared to baselines: learning the model on data from a random policy or a policy trained on the environment's reward. The main contribution consists of methods to design interventions to resolve spurious correlations.

研究动机与目标

• 解决强化学习环境中因果模型中的虚假相关性问题，该问题会导致错误预测和泛化能力差。
• 开发一种框架，通过主动测试和校正模型假设的干预手段，学习准确的因果模型。
• 设计干预策略，激励智能体收集能暴露虚假依赖关系的数据，从而提高因果模型的保真度。

提出的方法

• 该方法使用一种称为干预奖励的奖励函数，鼓励智能体在环境中执行结构化干预，以测试因果模型的假设。
• 干预奖励通过手工设计的启发式方法（节点/边干预）或端到端学习方法（如基于损失的干预）设计，引导智能体以揭示模型错误的方式行动。
• 智能体的策略基于干预奖励进行训练，利用该策略的轨迹重新训练因果模型，迭代提升其准确性。
• 因果模型中使用的特征从观测结果中手工设计（例如，玩家、钥匙、箱子的位置），而非原始像素，从而支持高层级推理。
• 该过程是迭代的：每次干预后，使用新数据重新训练因果模型，并基于更新后的模型设计新的干预。
• 通过测量收敛到真实因果图的程度来评估干预效果，使用诸如发现真实因果图的中位数轨迹数和正确图识别频率等指标。

实验结果

研究问题

• RQ1 由学习奖励函数引导的干预是否能有效解决强化学习环境中因果模型的虚假相关性问题？
• RQ2 不同干预设计策略（如节点、边或基于损失的干预）在揭示真实因果结构方面的能力如何比较？
• RQ3 通过干预策略收集数据是否能获得比从随机或环境奖励策略学习更准确的因果模型？
• RQ4 干预目标的选择（如特定节点或边）如何影响因果模型学习的收敛速度和准确性？
• RQ5 基于不确定性的干预目标选择在多大程度上能提高模型学习效率？

主要发现

• 在环境B中，基于损失的干预方法优于节点和边方法，实现了更快收敛到真实因果图。
• 发现正确因果图所需的中位数轨迹数随着干预次数的增加而减少，尤其在基于损失和边的干预方法中表现明显。
• 无放回采样边比有放回采样更快收敛，表明探索效率得到提升。
• 基于不确定性的边选择（使用不同训练子集）优于随机边选择，表明主动学习能提升干预质量。
• 通过环境奖励将新策略保持在旧策略附近有助于维持特征统计量，而单纯约束统计量因策略适应而无效。
• 该方法成功解决了环境B和C中的虚假相关性问题，通过干预轨迹收集的数据纠正了对钥匙存在性等特征的依赖。