[论文解读] Reinforcement Learning with Heterogeneous Data: Estimation and Inference

Elynn Chen, Rui Song+1 more|arXiv (Cornell University)|Jan 31, 2022

Software Reliability and Analysis Research被引用 4

一句话总结

本文提出一种新颖的框架——K-异质马尔可夫决策过程（K-Hetero MDP），用于建模异质人群中的序列决策问题。该研究引入自动聚类策略评估（ACPE）与自动聚类策略迭代（ACPI）算法，可自动检测子群体，并为每个子群体估计独立的Q函数与最优策略，在合成数据与真实世界MIMIC-III ICU数据中均实现了更高的估计精度与有效的置信区间。

ABSTRACT

Reinforcement Learning (RL) has the promise of providing data-driven support for decision-making in a wide range of problems in healthcare, education, business, and other domains. Classical RL methods focus on the mean of the total return and, thus, may provide misleading results in the setting of the heterogeneous populations that commonly underlie large-scale datasets. We introduce the K-Heterogeneous Markov Decision Process (K-Hetero MDP) to address sequential decision problems with population heterogeneity. We propose the Auto-Clustered Policy Evaluation (ACPE) for estimating the value of a given policy, and the Auto-Clustered Policy Iteration (ACPI) for estimating the optimal policy in a given policy class. Our auto-clustered algorithms can automatically detect and identify homogeneous sub-populations, while estimating the Q function and the optimal policy for each sub-population. We establish convergence rates and construct confidence intervals for the estimators obtained by the ACPE and ACPI. We present simulations to support our theoretical findings, and we conduct an empirical study on the standard MIMIC-III dataset. The latter analysis shows evidence of value heterogeneity and confirms the advantages of our new method.

研究动机与目标

• 为解决经典基于均值的强化学习在异质人群中存在的局限性，即聚合数据会掩盖子群体间的差异。
• 开发一种方法，可自动检测并估计单一数据集中同质子群体的独立策略与价值函数。
• 在灵活的双向渐近框架下，提供统计保证，包括收敛速率与有效的置信区间。
• 在真实世界医疗数据中验证该方法相较于标准强化学习方法在捕捉异质性与提升预测精度方面的优越性。
• 为ACPI算法中的参数调优提供理论指导，以支持其在高风险领域中的实际部署。

提出的方法

• 提出K-异质马尔可夫决策过程（K-Hetero MDP）作为多子群体序列决策的正式模型，每个子群体具有独立的状态-动作-奖励动态。
• 引入自动聚类策略评估（ACPE），一种两阶段算法，通过惩罚性时序差分学习对轨迹进行聚类，并估计子群体特定的Q函数。
• 开发自动聚类策略迭代（ACPI），在ACPE基础上通过在每个聚类内迭代优化策略估计，收敛至每个子群体的最优策略。
• 采用双向渐近框架，允许轨迹数量（N）或轨迹长度（T）中的任意一个趋于无穷，从而支持有效推断。
• 通过时序差分误差的无穷范数分析，推导估计量与价值函数的收敛速率，并构建置信区间。
• 应用多变量最近邻插补法与时间受限的采样保持插补法，以处理MIMIC-III数据集中不规则采样的ICU数据。

实验结果

研究问题

• RQ1 强化学习框架能否在大规模序列决策数据中检测并建模子群体异质性？
• RQ2 与基于均值的标准强化学习相比，所提出的ACPI算法是否在异质数据集中提升了估计精度与策略性能？
• RQ3 在N或T趋于无穷的灵活渐近框架下，为估计值函数与参数构建的置信区间是否有效？
• RQ4 该方法在已知存在异质性的现实临床数据（如MIMIC-III脓毒症队列）中的表现如何？
• RQ5 ACPI中聚类与惩罚参数的最优调优策略是什么？其对估计稳定性的具体影响如何？

主要发现

• ACPE与ACPI算法在MIMIC-III脓毒症数据集中成功识别出两个显著不同的子群体，表现为聚类后残差分布由双峰转为单峰。
• ACPI方法显著降低预测误差，且残差呈零均值、钟形分布，表明其模型拟合效果优于标准线性Q学习方法。
• 理论分析证实了估计量在双向渐近框架下的收敛速率，并在N或T趋于无穷时构建了有效的置信区间。
• MIMIC-III数据的实证结果表明存在价值异质性，不同患者子群体呈现出截然不同的最优治疗策略。
• 该方法在合成数据与真实世界场景中均优于标准强化学习，尤其在子群体规模较小时表现更优。
• 为ACPI中的参数调优提供了理论指导，显著提升了其在医疗等高风险领域中的实际可用性。