[论文解读] Reinforcement Learning-Based Adaptive Insulin Advisor for Individuals with Type 1 Diabetes Patients under Multiple Daily Injections Therapy

Qingnan Sun, Marko V. Jankovic+1 more|arXiv (Cornell University)|Jun 7, 2019

Diabetes Management and Research参考文献 15被引用 4

一句话总结

该论文提出了一种基于强化学习的自适应胰岛素顾问，用于使用多次每日注射（MDI）的1型糖尿病患者，整合了自我监测血糖（SMBG）和胰岛素笔数据。与传统的MDI疗法相比，该系统通过DMMS.R模拟器进行的计算机仿真验证，显著提高了血糖在目标范围内的停留时间，并减少了低血糖和高血糖事件。

ABSTRACT

The existing adaptive basal-bolus advisor (ABBA) was further developed to benefit patients under insulin therapy with multiple daily injections (MDI). Three different in silico experiments were conducted with the DMMS.R simulator to validate the approach of combined use of self-monitoring of blood glucose (SMBG) and insulin injection devices, e.g. insulin pen, as are used by the majority of type 1 diabetes patients under insulin therapy. The proposed approach outperforms the conventional method, as it increases the time spent within the target range and simultaneously reduces the risks of hyperglycaemic and hypoglycaemic events.

研究动机与目标

• 为使用多次每日注射（MDI）和自我监测血糖（SMBG）的1型糖尿病患者开发一种自适应胰岛素顾问。
• 通过减少高血糖和低血糖范围内的停留时间，改善血糖控制。
• 利用DMMS.R模拟器进行计算机仿真，验证所提出的基于强化学习的胰岛素顾问。
• 证明该系统在维持血糖在目标范围内方面优于传统MDI疗法。

提出的方法

• 该系统采用强化学习（RL）智能体，根据实时SMBG数据和胰岛素笔使用情况推荐胰岛素剂量。
• RL智能体通过在模拟环境中与环境进行试错交互，学习最优胰岛素剂量策略。
• DMMS.R模拟器用于模拟1型糖尿病患者对胰岛素和进餐的生理反应。
• 系统整合来自胰岛素笔的SMBG读数和胰岛素注射数据，以支持实时剂量决策。
• 智能体被训练以最大化目标血糖范围内的停留时间，同时最小化低血糖和高血糖事件。
• 该方法在三种不同的计算机仿真实验中得到验证，涵盖多种进餐和胰岛素条件。

实验结果

研究问题

• RQ1 基于强化学习的胰岛素顾问是否能改善使用MDI治疗的1型糖尿病患者的血糖控制？
• RQ2 与传统MDI疗法相比，基于强化学习的顾问在目标血糖范围停留时间以及低血糖/高血糖风险方面表现如何？
• RQ3 SMBG与胰岛素笔数据的整合在多大程度上能提升MDI患者胰岛素剂量的准确性？
• RQ4 在仿真中，RL智能体是否能在多种进餐和胰岛素负荷场景下保持稳健性能？

主要发现

• 所提出的基于强化学习的胰岛素顾问与传统MDI疗法相比，显著增加了患者处于目标血糖范围内的停留时间。
• 该系统减少了低血糖事件的频率和持续时间，提升了患者安全性。
• 该系统还降低了高血糖事件的发生率，表明餐后血糖控制更佳。
• 三次计算机仿真实验表明，系统在不同进餐和胰岛素负荷条件下均表现出一致的性能提升。