[论文解读] SACDNet: Towards Early Type 2 Diabetes Prediction with Uncertainty for Electronic Health Records

Tayyab Nasir, Muhammad Kamran Malik|arXiv (Cornell University)|Jan 12, 2023

Artificial Intelligence in Healthcare被引用 4

一句话总结

该论文提出SACDNet，一种结合多头自注意力机制与全连接层的深度学习模型，用于从电子健康记录（EHR）中预测2型糖尿病（T2DM），准确率达到89.3%，F1得分为89.1%。通过引入蒙特卡洛Dropout实现不确定性量化，提升了模型的可靠性，使其能够标记低置信度预测，并构建了一个包含185,891名患者的大型、多样化真实世界EHR数据集，以支持稳健的评估与公平性分析。

ABSTRACT

Type 2 diabetes mellitus (T2DM) is one of the most common diseases and a leading cause of death. The problem of early diagnosis of T2DM is challenging and necessary to prevent serious complications. This study proposes a novel neural network architecture for early T2DM prediction using multi-headed self-attention and dense layers to extract features from historic diagnoses, patient vitals, and demographics. The proposed technique is called the Self-Attention for Comorbid Disease Net (SACDNet), achieving an accuracy of 89.3% and an F1-Score of 89.1%, having a 1.6% increased accuracy and 1.3% increased f1-score compared to the baseline techniques. Monte Carlo (MC) Dropout is applied to the SACDNet to get a bayesian approximation. A T2DM prediction framework based on the MC Dropout SACDNet is proposed to quantize the uncertainty associated with the predictions. A T2DM prediction dataset is also built as part of this study which is based on real-world routine Electronic Health Record (EHR) data comprising 4,124 diabetic and 181,767 non-diabetic examples, collected from 295 different EHR systems running in different parts of the United States of America. This dataset is further used to evaluate 7 different machine learning and 3 deep learning-based models. Finally, a detailed analysis of the fairness of every technique against different patient demographic groups is performed to validate the unbiased generalization of the techniques and the diversity of the data.

研究动机与目标

• 开发一种基于真实世界电子健康记录（EHR）数据的深度学习模型，用于早期预测2型糖尿病（T2DM）。
• 通过整合来自295个美国EHR系统的大型真实世界EHR数据，构建一个大规模、真实世界T2DM数据集，以解决现有数据集规模小、缺乏多样性及非常规特征等问题。
• 通过集成蒙特卡洛Dropout进行不确定性估计，并结合基于熵的置信度评分，提升模型预测的可靠性。
• 评估模型在不同人口统计群体（年龄、性别、种族）中的公平性，确保无偏见泛化，并验证数据集的多样性。
• 提供一个可部署的框架，可集成至现有EHR系统，支持早期诊断并减少过度自信的误判。

提出的方法

• SACDNet利用多头自注意力机制，从EHR数据中的历史诊断中提取关系模式。
• 全连接前馈层处理患者的生命体征和人口统计学特征，捕捉这些表格输入中的非序列模式。
• 通过共享全连接层融合基于注意力机制和全连接层的特征，生成最终的T2DM预测结果。
• 在推理阶段应用蒙特卡洛Dropout，以近似贝叶斯不确定性，实现概率性置信度估计。
• 通过输出概率的熵来量化不确定性，使模型能够将低置信度预测标记为不确定。
• 从295个真实世界系统中构建了一种新型基于EHR的T2DM数据集，包含4,124例糖尿病病例和181,767例非糖尿病病例，经过严格预处理以确保临床相关性与多样性。

Figure 1: Proposed framework for T2DM prediction with uncertainty.

实验结果

研究问题

• RQ1 使用多头自注意力与全连接层的深度学习模型，能否在真实世界EHR数据上实现对早期T2DM预测的性能超越基线模型？
• RQ2 将蒙特卡洛Dropout与SACDNet结合，能在多大程度上通过量化不确定性来提升预测的可靠性？
• RQ3 所提出的模型在不同人口统计群体（年龄、性别、种族）中的表现如何？该数据集是否支持公平的泛化？
• RQ4 所提出的框架能否有效识别并避免在不确定案例上做出高置信度预测，从而减少过度自信的错误？
• RQ5 所构建的基于EHR的数据集是否具备足够的规模与多样性，以支持稳健且无偏见的模型训练与评估？

主要发现

• SACDNet实现了89.3%的准确率与89.1%的F1得分，相比基线模型，准确率提升1.6个百分点，F1得分提升1.3个百分点。
• 采用MC-Dropout增强的SACDNet（MC-SACDNet）通过为误分类样本分配更高的熵值，识别出更多误分类样本为不确定，从而提升了可靠性。
• 模型在所有种族与性别群体中均表现出一致的性能，评估指标中未观察到显著偏差。
• 儿童与学龄前儿童群体的性能下降是由于数据稀缺（仅含非糖尿病病例），而非模型偏差，因为这些群体的准确率仍保持较高水平。
• 不确定性分析证实，MC-SACDNet对误分类样本的熵值显著高于标准SACDNet，有效减少了过度自信的错误。
• 所提出的包含185,891名患者的基于EHR的数据集，来自295个真实世界系统，支持多样化、代表性强且可泛化的模型训练与评估。

Figure 2: Results of 5 folds cross-validation.