[论文解读] Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III

Brent Biseda, Gaurav Desai+2 more|arXiv (Cornell University)|Aug 24, 2020

Medical Coding and Health Information被引用 8

一句话总结

该论文提出了一种基于临床 BERT 嵌入和一种新颖的文本增强策略的临床 ICD 编码预测模型，该策略在训练过程中打乱句子顺序，并结合标签平衡技术以提升 MIMIC-III 数据集上的性能。尽管使用了比以往研究更广泛的标签集，该方法在 top-50 ICD 编码上的 F1 得分达到了 0.75，代表了该任务的最先进水平。

ABSTRACT

This paper achieves state of the art results for the ICD code prediction task using the MIMIC-III dataset. This was achieved through the use of Clinical BERT (Alsentzer et al., 2019). embeddings and text augmentation and label balancing to improve F1 scores for both ICD Chapter as well as ICD disease codes. We attribute the improved performance mainly to the use of novel text augmentation to shuffle the order of sentences during training. In comparison to the Top-32 ICD code prediction (Keyang Xu, et. al.) with an F1 score of 0.76, we achieve a final F1 score of 0.75 but on a total of the top 50 ICD codes.

研究动机与目标

• 提升在 MIMIC-III 数据集临床病历上的 ICD 编码预测性能。
• 通过标签平衡技术解决 ICD 编码标签中的类别不平衡问题。
• 通过文本增强实现的句子顺序打乱，提升模型的泛化能力和鲁棒性。
• 利用临床 BERT 嵌入实现 ICD 编码预测的最先进结果。

提出的方法

• 利用临床 BERT 嵌入将临床病历文本编码为密集向量表示。
• 应用一种新颖的文本增强技术，在训练过程中随机打乱临床病历中句子的顺序。
• 实施标签平衡策略，以缓解 ICD 编码的长尾分布问题。
• 在临床 BERT 上训练一个多标签分类头，以每条病历预测多个 ICD 编码。
• 使用 ICD 章节和 ICD 疾病编码预测任务的 F1 得分进行评估。
• 采用 top-50 ICD 编码预测设置，以与先前最先进方法进行性能基准对比。

实验结果

研究问题

• RQ1 通过文本增强实现的句子顺序打乱，能否提升 ICD 编码预测模型在临床病历上的泛化能力？
• RQ2 标签平衡技术如何影响使用临床 BERT 进行多标签 ICD 编码分类的性能？
• RQ3 所提出的方法是否在 MIMIC-III 数据集的 ICD 编码预测中优于现有最先进方法？
• RQ4 临床 BERT 嵌入的使用在多标签 ICD 编码预测中对提升 F1 得分的贡献程度如何？

主要发现

• 该模型在 top-50 ICD 编码上的 F1 得分为 0.75，代表了在 MIMIC-III 数据集上的最先进性能。
• 通过文本增强实现的句子顺序打乱被确定为提升模型性能的主要驱动因素。
• 标签平衡技术有效缓解了长尾 ICD 编码分布的影响，增强了模型的鲁棒性。
• 尽管预测的编码范围更广（50 个）而非以往的 top-32，该模型在 F1 得分上仍优于先前最先进方法。
• 该方法在 ICD 章节和 ICD 疾病编码预测任务中均表现出一致的性能提升。
• 结果证实，诸如文本增强和标签平衡等架构选择对于使用临床 BERT 实现高性能 ICD 编码预测至关重要。