[论文解读] Playing against Nature: causal discovery for decision making under uncertainty

Mauricio Gonzalez-Soto, Luis Enrique Sucar+1 more|arXiv (Cornell University)|Jul 3, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用 8

一句话总结

本文提出了一种因果强化学习框架，其中智能体通过与受未知因果机制支配的环境进行顺序交互，同时学习决策策略和潜在的因果模型。通过将环境建模为一个策略性的‘自然’对手，并在每次结果后更新因果信念，该智能体在性能上可与Q-learning相媲美，同时获得可解释的因果知识，以支持反事实推理和解释。

ABSTRACT

We consider decision problems under uncertainty where the options available to a decision maker and the resulting outcome are related through a causal mechanism which is unknown to the decision maker. We ask how a decision maker can learn about this causal mechanism through sequential decision making as well as using current causal knowledge inside each round in order to make better choices had she not considered causal knowledge and propose a decision making procedure in which an agent holds extit{beliefs} about her environment which are used to make a choice and are updated using the observed outcome. As proof of concept, we present an implementation of this causal decision making model and apply it in a simple scenario. We show that the model achieves a performance similar to the classic Q-learning while it also acquires a causal model of the environment.

研究动机与目标

• 解决在环境因果结构未知但假设其存在的情况下进行决策的问题。
• 开发一种将因果推断与顺序决策相结合的学习方法，使智能体能够推理干预及其影响。
• 使智能体不仅能学习最优动作，还能通过反复交互学习环境的因果模型。
• 通过在学习过程中嵌入因果结构，弥合关联式强化学习与因果推理之间的差距。
• 提供一个框架，使智能体能够基于学习到的因果模型执行反事实推理——回答“如果……会怎样”的问题。

提出的方法

• 将智能体-环境交互建模为决策者与‘自然’之间的博弈，其中自然根据固定的但未知的因果机制对干预做出响应。
• 使用贝叶斯推断维护并更新对可能因果结构的信念分布，从条件概率表上的非信息性先验开始。
• 在每轮中，基于当前信念构建局部因果模型，并选择能最大化期望结果（如患者存活）概率的动作。
• 执行干预（动作）并观察结果，利用此证据更新条件概率分布的狄利克雷先验参数。
• 使用更新后的信念生成下一轮的新因果模型，从而实现策略与因果结构的逐步优化。
• 应用广义汤普森采样从因果模型的后验分布中采样，确保探索性，同时与观测数据保持一致。

实验结果

研究问题

• RQ1 在初始因果结构未知的情况下，决策智能体能否通过顺序交互学习到环境的因果模型？
• RQ2 将因果结构融入强化学习相较于标准的关联方法（如Q-learning）如何影响学习性能？
• RQ3 所学习的因果模型在多大程度上能支持反事实推理（例如：'如果采取了另一个动作会怎样'）？
• RQ4 对因果模型的信念更新机制是否能在不确定环境中实现稳定且收敛的策略学习？
• RQ5 所提出的因果决策框架在累积奖励和收敛速度方面与经典Q-learning相比表现如何？

主要发现

• 在100轮和200轮交互后，所提出的因果智能体获得的平均奖励与Q-learning相当，后期性能与Q-learning高度接近。
• 在早期轮次（如20轮），因果智能体的表现与随机智能体相似，表明存在学习曲线，但到第50轮时开始超越随机选择。
• 在100轮时，因果智能体的平均奖励略高于Q-learning，表明在因果设定下可能具有更快的收敛速度或更优的探索策略。
• 在200轮后，因果智能体的平均奖励几乎与Q-learning完全相同，表明尽管学习了额外的因果结构，其性能仍具竞争力。
• 智能体成功获取了环境的因果模型，能够解释决策并支持反事实查询——这是标准Q-learning所不具备的能力。
• 该方法表明，将因果推断整合到强化学习中，可在保持高性能的同时实现可解释性，为构建更透明、更稳健的AI决策系统提供了可行路径。