[论文解读] Towards Automated ICD Coding Using Deep Learning

Haoran Shi, Pengtao Xie+3 more|arXiv (Cornell University)|Nov 11, 2017

Biomedical Text Mining and Ontologies参考文献 26被引用 127

一句话总结

该论文提出一种带注意力的层次深度学习模型，用于从诊断描述自动分配 ICD 代码，在 MIMIC-III 数据上实现 Soft-attention F1 为 0.532、AUC-ROC 为 0.900。

ABSTRACT

International Classification of Diseases(ICD) is an authoritative health care classification system of different diseases and conditions for clinical and management purposes. Considering the complicated and dedicated process to assign correct codes to each patient admission based on overall diagnosis, we propose a hierarchical deep learning model with attention mechanism which can automatically assign ICD diagnostic codes given written diagnosis. We utilize character-aware neural language models to generate hidden representations of written diagnosis descriptions and ICD codes, and design an attention mechanism to address the mismatch between the numbers of descriptions and corresponding codes. Our experimental results show the strong potential of automated ICD coding from diagnosis descriptions. Our best model achieves 0.53 and 0.90 of F1 score and area under curve of receiver operating characteristic respectively. The result outperforms those achieved using character-unaware encoding method or without attention mechanism. It indicates that our proposed deep learning model can code automatically in a reasonable way and provide a framework for computer-auxiliary ICD coding.

研究动机与目标

• 推动自动 ICD 编码以降低医疗保健中的编码错误和成本。
• 将 ICD 编码 formulated 为基于诊断描述的多标签分类问题。
• 开发一个神经架构，缩小诊断文本与 ICD 代码定义之间的风格差距。
• 评估注意力机制是否改善诊断描述与 ICD 代码之间的对齐。

提出的方法

• 使用字符级和单词级 LSTM 网络对诊断描述进行编码，以获得隐藏表示。
• 以并行的字符级和词级 LSTM 对 ICD 代码定义（长标题）进行编码，以获得代码表示。
• 使用诊断描述的隐藏状态的余弦相似性来计算每个 ICD 代码与诊断描述之间的注意力分数。
• 应用软注意力将诊断描述聚合成特定于代码的向量，然后通过 sigmoid 输出层投射到概率。
• 使用 Adam 优化器以二元交叉熵损失进行训练，在验证数据上调整阈值以获得最佳 F1。

实验结果

研究问题

• RQ1 带注意力的分层神经模型是否能有效地将自由文本诊断描述映射到多个 ICD 代码？
• RQ2 软注意力是否在将诊断描述与 ICD 代码定义对齐方面优于硬性选择？
• RQ3 字符级编码器如何有助于对医疗术语和拼写错误的鲁棒表示？
• RQ4 使用 ICD-9 代码定义对像 MIMIC-III 这类数据集的编码性能有何影响？

主要发现

模型	F1	AUC_ROC
硬性选择模型	0.480	0.877
软注意力模型	0.532	0.900
消融：随机词嵌入	0.508	0.882
消融：预训练词嵌入	0.528	0.895
消融：平均编码器	0.504	0.886
消融：无注意力（线性分类器）	0.471	0.882

• 软注意力将 F1 提升至 0.532、AUC-ROC 提升至 0.900，优于硬选择模型。
• 硬选择的 F1 为 0.480、AUC-ROC 为 0.877。
• 消融研究显示字符级编码和注意力对性能都至关重要。
• 将字符级 LSTM 替换为随机或非字符编码器会降低 F1 和 AUC-ROC。
• 使用预训练词嵊嵩有帮助，但在此设置中不及字符级编码器。
• 注意力可视化显示对不同 ICD 代码的诊断描述关注点各异。