[论文解读] Rapidly Personalizing Mobile Health Treatment Policies with Limited Data

Sabina Tomkins, Peng Liao+3 more|arXiv (Cornell University)|Feb 23, 2020

Mobile Health and mHealth Applications参考文献 33被引用 4

一句话总结

该论文提出 IntelligentPooling，一种基于 Thompson Sampling 的强化学习算法，利用分层贝叶斯高斯过程模型，自适应地在用户间聚合数据，以在数据有限且嘈杂的移动健康（mHealth）环境中加速个性化。在模拟中，其遗憾值比最先进方法低 26%，并在一项真实临床试验中展示了在极少数用户数据下的实际个性化效果。

ABSTRACT

In mobile health (mHealth), reinforcement learning algorithms that adapt to one's context without learning personalized policies might fail to distinguish between the needs of individuals. Yet the high amount of noise due to the in situ delivery of mHealth interventions can cripple the ability of an algorithm to learn when given access to only a single user's data, making personalization challenging. We present IntelligentPooling, which learns personalized policies via an adaptive, principled use of other users' data. We show that IntelligentPooling achieves an average of 26% lower regret than state-of-the-art across all generative models. Additionally, we inspect the behavior of this approach in a live clinical trial, demonstrating its ability to learn from even a small group of users.

研究动机与目标

• 解决在每位用户数据稀缺且嘈杂的情况下，学习有效个性化治疗策略的挑战。
• 在强化学习用于 mHealth 时，平衡个性化（高方差）与聚合（潜在偏差）之间的权衡。
• 开发一种方法，根据用户间及用户内部观察到的治疗效果方差，动态调整个性化程度。
• 在基于真实 mHealth 数据生成的模拟环境以及一项真实临床试验中验证该方法。

提出的方法

• IntelligentPooling 使用混合效应高斯过程（GP）模型，联合建模用户间的治疗效果，同时纳入总体水平和个体水平的随机效应。
• 该算法采用经验贝叶斯方法更新分层先验的超参数，实现随观测数据演变的自适应聚合。
• 采用 Thompson Sampling 选择动作，其中 GP 模型的后验样本根据上下文特征指导治疗决策。
• 模型在截距项和治疗效果项上包含用户特定的随机效应，支持个性化策略学习。
• 使用活动水平、位置、参与度和剂量等特征作为上下文，以指导治疗决策。
• 该方法在每个决策点利用所有可用数据，包括先前和同时期用户的记录，实现实时自适应。

实验结果

研究问题

• RQ1 当个体数据有限且嘈杂时，强化学习算法是否能实现更快、更准确的 mHealth 个性化？
• RQ2 如何以合理方式聚合多个用户的资料，以加快学习速度而不牺牲个性化准确性？
• RQ3 该算法在多大程度上根据用户间及用户内部观察到的治疗效果方差，自适应调整其个性化水平？
• RQ4 该方法在遗憾值和策略质量方面是否优于完全个性化和完全聚合的基线方法？
• RQ5 该算法在真实世界、实际临床试验环境中，仅使用极少用户数据时是否具有可行性与有效性？

主要发现

• 在模拟中，IntelligentPooling 在所有生成模型下平均遗憾值比最先进方法低 26%。
• 随着时间推移，该算法展现出更强的个性化能力，IntelligentPooling 与聚合基线在治疗概率上的差异逐渐增大（皮尔逊相关系数 r = .56，p < .1）。
• 用户 B 的治疗效果系数后验均值显示为正向效应，而用户 A 未显示受益证据，表明实现了有效个性化。
• 学习速度显著快于个体特定模型，表现为 IntelligentPooling 的后验分布与先验分布的发散速度更快，优于个体特定方法。
• 在真实临床试验中，IntelligentPooling 仅使用少量用户即成功适应了个体用户反应，展示了实际可行性。
• 该方法通过根据观察到的治疗效果方差动态调整数据共享程度，有效平衡了个性化与聚合。