[论文解读] Multi-task Learning via Adaptation to Similar Tasks for Mortality Prediction of Diverse Rare Diseases

Luchen Liu, Zequn Liu+5 more|PubMed|Apr 11, 2020

Machine Learning in Healthcare参考文献 30被引用 10

一句话总结

该论文提出 Ada-SiT，一种新颖的多任务学习方法，通过在模型空间中动态测量任务相似性，实现对罕见疾病病死率预测的共享参数初始化的快速适应。通过在元训练过程中利用任务间的相似性，Ada-SiT 显著提升了低数据量罕见疾病预测的性能，在真实电子健康记录（EHR）数据集上优于全局单任务模型和传统多任务学习基线模型。

ABSTRACT

The mortality prediction of diverse rare diseases using electronic health record (EHR) data is a crucial task for intelligent healthcare. However, data insufficiency and the clinical diversity of rare diseases make it hard for deep learning models to be trained. Mortality prediction for these patients with different diseases can be viewed as a multi-task learning problem with insufficient data but a large number of tasks. On the other hand, insufficient training data makes it difficult to train task-specific modules in multi-task learning models. To address the challenges of data insufficiency and task diversity, we propose an initialization-sharing multi-task learning method (Ada-SiT). Ada-Sit can learn the parameter initialization and dynamically measure the tasks' similarities, used for fast adaptation. We use Ada-SiT to train long short-term memory networks (LSTM) based prediction models on longitudinal EHR data. The experimental results demonstrate that the proposed model is effective for mortality prediction of diverse rare diseases.

研究动机与目标

• 为利用电子健康记录（EHR）数据解决罕见疾病病死率预测中的数据不足与临床多样性问题。
• 克服现有多任务学习模型因每种疾病的训练集过小而无法有效训练任务特定模块的局限性。
• 通过在初始化共享中引入动态任务相似性，提升元学习中的快速适应能力。
• 开发一种模型无关的方法，以提升在多样化、低资源罕见疾病任务上的泛化能力。

提出的方法

• Ada-SiT 使用元学习框架，学习长短期记忆（LSTM）网络的共享初始化，从而实现对新任务的快速适应。
• 它提出一种基于任务特定模型参数之间余弦相似度的模型空间内动态任务相似性测量方法，而非依赖静态临床特征。
• 在模型空间中，通过学习的距离阈值识别出相似任务作为邻居，为每个任务 $\text{task}_i$ 构建邻域集合 $N_{\text{cos}}(\text{task}_i)$。
• 该模型通过两阶段训练过程进行训练：首先进行元训练以学习初始化并适应相似任务，随后在单个任务上进行微调。
• 该方法为模型无关，可与任何深度学习架构（如 LSTM 或 TCN）结合，用于基于 EHR 的预测。
• 任务相似性通过训练模型的 $L_2$-归一化参数向量计算，使模型能够捕捉临床相似疾病之间的共享表征。

实验结果

研究问题

• RQ1 在模型空间中使用动态任务相似性是否能提升罕见疾病病死率预测中多任务学习的快速适应能力？
• RQ2 当单个任务的训练数据极为有限时，从相似任务中学习如何影响性能？
• RQ3 在元学习中，基于模型空间的任务相似性是否优于静态临床特征（如病死率）来度量任务相似性？
• RQ4 Ada-SiT 在低数据量罕见疾病任务上，相较于全局单任务模型和标准多任务学习基线，性能提升程度如何？

主要发现

• 在 MiniMIMIC 数据集上，Ada-SiT 相较于 LSTM 的 AUC 提升 6.9%，AP 提升 19.1%，表明其在低数据量罕见疾病预测中表现更优。
• 在 MiniMIMIC 数据集上，Ada-SiT 相较于强基线 Multi-SAnD 的 AUC 提升 8.6%，AP 提升 65.0%，表明信息共享能力显著增强。
• 采用 k-近邻进行相似性计算的 Ada-SiT (KNN) 表现低于完整版 Ada-SiT 模型，表明基于距离的邻居选择优于 k-NN 方法。
• 消融实验表明，基于模型空间的任务相似性测量相比静态特征（如病死率）的相似性，可使 AUC 提升 3.0%，AP 提升 9.7%。
• t-SNE 可视化显示，模型空间中的任务聚类与病死率高度相关——低病死率和高病死率疾病形成明显分离的组别，验证了相似性度量的临床相关性。
• 与 MAML（Ada-SiT -）相比，Ada-SiT 在 AUC 上提升 1.5%，AP 上提升 6.0%，表明引入任务相似性可显著增强适应能力，超越标准元学习。