[论文解读] Sample-Efficient Reinforcement Learning via Counterfactual-Based Data Augmentation

Chaochao Lu, Biwei Huang+4 more|arXiv (Cornell University)|Dec 16, 2020

Reinforcement Learning in Robotics参考文献 34被引用 16

一句话总结

本文提出了一种基于反事实的样本高效强化学习数据增强方法，适用于异质性环境，利用结构因果模型（SCM）生成模拟替代处理结果的合成经验。该方法通过在反事实数据上进行Q-learning，实现群体层面与个性化策略的联合学习，在较弱的可识别性条件下实现最优值函数的收敛，并在合成数据与真实世界医疗数据上展现出性能提升。

ABSTRACT

Reinforcement learning (RL) algorithms usually require a substantial amount of interaction data and perform well only for specific tasks in a fixed environment. In some scenarios such as healthcare, however, usually only few records are available for each patient, and patients may show different responses to the same treatment, impeding the application of current RL algorithms to learn optimal policies. To address the issues of mechanism heterogeneity and related data scarcity, we propose a data-efficient RL algorithm that exploits structural causal models (SCMs) to model the state dynamics, which are estimated by leveraging both commonalities and differences across subjects. The learned SCM enables us to counterfactually reason what would have happened had another treatment been taken. It helps avoid real (possibly risky) exploration and mitigates the issue that limited experiences lead to biased policies. We propose counterfactual RL algorithms to learn both population-level and individual-level policies. We show that counterfactual outcomes are identifiable under mild conditions and that Q- learning on the counterfactual-based augmented data set converges to the optimal value function. Experimental results on synthetic and real-world data demonstrate the efficacy of the proposed approach.

研究动机与目标

• 解决强化学习中数据稀缺与机制异质性的问题，特别是在患者层面数据有限且治疗反应多样的医疗应用中。
• 构建一种基于模型的强化学习框架，通过利用反事实推理模拟替代治疗结果，避免在真实世界中的高风险探索。
• 通过SCM中潜在异质性因子的聚类，实现群体层面策略与个体化策略的联合学习。
• 在弱条件下证明反事实结果的可识别性，确保在增强数据上进行Q-learning的理论收敛性。
• 通过将因果建模与深度强化学习相结合，提升低数据场景下的样本效率与策略鲁棒性。

提出的方法

• 使用具有灵活神经网络函数近似的结构因果模型（SCM）对状态动态进行建模，支持个体间因果机制的异质性。
• 引入潜变量 $\theta_C$ 以捕捉影响治疗反应的个体特异性隐藏因素，支持个性化策略学习。
• 通过Pearl的do-演算进行反事实推理，估计在给定观测轨迹下，若采取不同动作将发生的结果。
• 通过反事实修改观测状态-动作对中的动作，生成合成数据，从而在训练数据集中加入合理替代结果。
• 在真实数据与反事实生成数据的混合数据集上训练深度Q网络（D3QN），以学习通用策略与群体特定策略。
• 对估计的 $\theta_C$ 值进行k-means聚类，将患者分组，并为每组独立训练个性化策略，提升个体化治疗的精准度。

实验结果

研究问题

• RQ1 基于结构因果模型的反事实数据增强是否能提升在数据稀缺条件下的强化学习样本效率？
• RQ2 在异质性、低数据设置下，反事实结果在何种条件下可识别？
• RQ3 在该类设置下，基于反事实增强数据的Q-learning是否能收敛至最优值函数？
• RQ4 通过 $\theta_C$ 建模个体异质性，相较于群体层面学习，能否显著提升策略性能？
• RQ5 反事实推理在多大程度上可减少因真实世界经验有限导致的偏差，并避免医疗等现实应用中的高风险探索？

主要发现

• 在较弱的可识别性条件下，基于反事实增强数据训练的Q-learning可实现向最优值函数的收敛。
• 所提出的SCM框架即使在函数形式未知或灵活、且误差分布非高斯的情况下，仍能实现反事实结果的可识别性。
• 在真实世界ICU数据上，基于反事实数据进行群体特定训练所获得的个性化策略，其平均估计Q值高于通用策略。
• 个性化策略产生的动作分布相较于通用策略更具多样性，反映出针对不同患者群体的定制化治疗策略。
• 该方法在样本效率方面优于基线方法，并有效减少了因真实世界经验有限导致的偏差，尤其在低数据医疗场景中表现突出。
• 在合成数据与真实世界数据上的实证结果表明，反事实数据增强可提升策略性能，并实现在无高风险探索前提下的安全、高效决策。