[论文解读] Phenotyping of Clinical Time Series with LSTM Recurrent Neural Networks

Zachary C. Lipton, David C. Kale+1 more|arXiv (Cornell University)|Oct 26, 2015

Time Series Analysis and Forecasting参考文献 22被引用 31

一句话总结

本文提出使用长短期记忆（LSTM）循环神经网络对儿科重症监护病房（PICU）的可变长度临床时间序列进行多标签表型分析，在仅使用原始测量值的情况下，于128个诊断标签上实现了最先进性能。LSTM模型在多个指标上优于强基准模型，包括使用人工特征工程的逻辑回归，如微观和宏观AUC以及F1分数。

ABSTRACT

We present a novel application of LSTM recurrent neural networks to multilabel classification of diagnoses given variable-length time series of clinical measurements. Our method outperforms a strong baseline on a variety of metrics.

研究动机与目标

• 解决使用采样不规则、多变量、长度可变的临床时间序列对危重症患者进行表型分析的挑战。
• 评估LSTM是否能在无需大量领域特定特征工程的情况下，学习临床数据中的复杂非线性时间模式。
• 比较端到端LSTM模型与传统机器学习基线模型在多标签诊断预测中的性能表现。
• 探索利用深度学习从原始生理和实验室测量值中实现自动化、数据驱动的临床表型发现的可行性。

提出的方法

• 该模型使用两层LSTM网络，每层128个单元，处理来自10,401个PICU病程的原始、按小时重采样的临床时间序列数据。
• 输入数据通过临床专家定义的范围进行归一化至[0,1]，并使用前向/后向传播法填补缺失值。
• LSTM的最终隐藏状态通过一个带有Sigmoid激活函数的全连接层进行多标签分类。
• 在128个输出节点上使用二元交叉熵损失，模型通过带动量的随机梯度下降进行训练。
• 采用梯度裁剪和L2权重衰减以缓解梯度爆炸问题，并使用早停法进行超参数调优。
• 模型按时间顺序处理序列，并仅在最终时间步生成预测。

实验结果

研究问题

• RQ1 LSTM能否有效建模具有不规则采样和缺失数据的多变量临床时间序列中的长程依赖关系？
• RQ2 端到端LSTM模型与传统模型（如使用人工特征工程的逻辑回归）在多标签临床表型分析中的表现相比如何？
• RQ3 仅使用原始临床时间序列而无需领域特定特征工程，能在多大程度上实现高诊断分类性能？
• RQ4 LSTM模型在罕见疾病上的泛化能力如何，以宏观平均指标衡量？

主要发现

• LSTM模型的微观AUC达到0.8324，宏观AUC达到0.7717，两项指标均优于次佳基线模型（使用人工特征工程的逻辑回归）。
• LSTM的微观F1得分为0.2577，宏观F1得分为0.1304，分别优于逻辑回归基线0.0079和0.0050。
• 在Top-10精确率上，LSTM得分为0.1078，略低于最佳基线模型（0.1085），表明其在前10名预测中质量优异。
• 模型在罕见疾病上表现出稳健性能，宏观平均指标相对较高，表明其有效学习了低频表型。
• 结果表明，LSTM能够直接从原始时间序列中学习具有临床意义的表征，从而减少对专家驱动特征工程的依赖。