[论文解读] Neural Document Embeddings for Intensive Care Patient Mortality Prediction.

Paulina Grnarova, Florian Schmidt+2 more|arXiv (Cornell University)|Dec 1, 2016

Machine Learning in Healthcare被引用 4

一句话总结

本文提出了一种基于卷积神经网络的文档嵌入方法，利用MIMIC-III数据库中的非结构化临床笔记，预测重症监护患者死亡率。该方法在先前方法（如潜在主题模型和通用doc2vec嵌入）的基础上实现了显著的性能提升，尤其是在出院后死亡率预测方面。

ABSTRACT

We present an automatic mortality prediction scheme based on the unstructured textual content of clinical notes. Proposing a convolutional document embedding approach, our empirical investigation using the MIMIC-III intensive care database shows significant performance gains compared to previously employed methods such as latent topic distributions or generic doc2vec embeddings. These improvements are especially pronounced for the difficult problem of post-discharge mortality prediction.

研究动机与目标

• 利用非结构化临床笔记改进重症监护患者死亡率预测，这些笔记在现有模型中往往未被充分利用。
• 解决预测出院后死亡率这一特别具有挑战性的临床预测任务。
• 开发一种更有效的临床文本表示学习方法，以捕捉与传统方法相比更为细致、上下文敏感的模式。
• 将所提方法的性能与既有的基线方法（如潜在主题模型和通用doc2vec嵌入）进行对比评估。

提出的方法

• 该方法采用卷积神经网络（CNN）架构，学习整个临床文档的密集分布式表示（嵌入）。
• 将输入的临床笔记进行分词，并嵌入为密集向量，随后通过具有不同滤波器大小的多层卷积层处理，以捕捉局部n-gram特征。
• 对每个卷积滤波器的输出应用最大池化操作，以提取最显著的特征，随后进行拼接，形成固定长度的文档级嵌入。
• 所学习的文档嵌入被用作下游分类器的输入，用于死亡率预测，整个模型在MIMIC-III数据集上端到端训练。
• 使用交叉熵损失函数进行模型训练，以优化住院期间和出院后死亡率预测结果的准确性。
• 将该方法与基线方法（包括潜在狄利克雷分布（LDA）和通用doc2vec嵌入）进行比较，采用AUC-ROC等标准评估指标。

实验结果

研究问题

• RQ1 基于卷积神经网络的文档嵌入模型是否能在预测重症监护患者死亡率方面优于传统方法（如LDA和doc2vec）？
• RQ2 所提方法在预测出院后死亡率方面效果如何，这一任务尤其具有挑战性？
• RQ3 所学习的文档嵌入在多大程度上捕捉到了来自非结构化临床笔记的临床相关模式？
• RQ4 与全局平均或池化策略相比，使用局部卷积特征提取是否能提升临床文本的表示学习效果？

主要发现

• 所提出的卷积文档嵌入方法在死亡率预测任务中，相较于潜在主题模型和通用doc2vec嵌入，均实现了显著的性能提升。
• 在预测出院后死亡率方面，性能提升最为显著，模型表现出更优的泛化能力和鲁棒性。
• 模型通过卷积滤波器捕捉临床文本中的局部、分层模式，从而生成更具判别性的文档表示。
• 结果表明，基于深度学习的文档嵌入比传统分布式或浅层神经网络方法更适用于捕捉非结构化临床笔记中的复杂、细微信号。