[论文解读] TF-IDF vs Word Embeddings for Morbidity Identification in Clinical Notes: An Initial Study

Danilo Dessı̀, Rim Helaoui+3 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning in Healthcare参考文献 7被引用 17

一句话总结

本研究评估了使用词嵌入（GloVe、Word2Vec、领域特定）的深度学习方法与基于TF-IDF的SVM和MLP在临床笔记中对16种疾病类型进行分类的效果。尽管使用了最先进的词嵌入技术，基于TF-IDF的模型仍优于所有深度学习方法，平均F1得分达到98.47%，而深度学习方法仅为77.64%，表明数据集对频繁出现的、与疾病相关的关键词存在偏差。

ABSTRACT

Today, we are seeing an ever-increasing number of clinical notes that contain clinical results, images, and textual descriptions of patient's health state. All these data can be analyzed and employed to cater novel services that can help people and domain experts with their common healthcare tasks. However, many technologies such as Deep Learning and tools like Word Embeddings have started to be investigated only recently, and many challenges remain open when it comes to healthcare domain applications. To address these challenges, we propose the use of Deep Learning and Word Embeddings for identifying sixteen morbidity types within textual descriptions of clinical records. For this purpose, we have used a Deep Learning model based on Bidirectional Long-Short Term Memory (LSTM) layers which can exploit state-of-the-art vector representations of data such as Word Embeddings. We have employed pre-trained Word Embeddings namely GloVe and Word2Vec, and our own Word Embeddings trained on the target domain. Furthermore, we have compared the performances of the deep learning approaches against the traditional tf-idf using Support Vector Machine and Multilayer perceptron (our baselines). From the obtained results it seems that the latter outperforms the combination of Deep Learning approaches using any word embeddings. Our preliminary results indicate that there are specific features that make the dataset biased in favour of traditional machine learning approaches.

研究动机与目标

• 探讨使用词嵌入的深度学习在临床笔记中多病共病分类任务中的有效性。
• 将预训练的（GloVe、Word2Vec）和领域特定的词嵌入与TF-IDF作为基线进行比较。
• 评估深度学习模型是否能在临床疾病检测中超越传统机器学习方法。
• 识别可能使分类结果偏向传统机器学习方法的数据集特定特征。

提出的方法

• 采用双向LSTM深度学习模型，从临床文本中分类16种疾病类型。
• 使用三种类型的词嵌入：预训练的GloVe和Word2Vec，以及自训练的领域特定嵌入。
• 从临床笔记中构建TF-IDF特征向量，用于SVM和多层感知机基线模型。
• 应用5折交叉验证，以确保所有疾病类别均得到稳健的性能评估。
• 在目标临床数据集上训练领域特定词嵌入，以捕捉与疾病相关的语言模式。
• 通过所有疾病类别的F1得分、精确率和召回率评估模型性能。

实验结果

研究问题

• RQ1 与TF-IDF相比，使用预训练和领域特定词嵌入是否能提升临床笔记中文本的疾病分类性能？
• RQ2 使用词嵌入的深度学习模型是否能在多病共病检测中超越使用TF-IDF的传统机器学习模型？
• RQ3 数据集中哪些特定特征导致传统机器学习方法（TF-IDF）的性能显著优于深度学习方法？
• RQ4 不同类型的词嵌入（GloVe、Word2Vec、领域特定）在表示临床疾病术语方面的能力如何比较？

主要发现

• 基于TF-IDF的SVM基线模型实现了98.47%的平均F1得分，显著优于所有深度学习模型。
• 使用GloVe嵌入的性能最佳的深度学习模型，其平均F1得分为77.64%，表明存在显著的性能差距。
• 使用TF-IDF的多层感知机模型实现了97.72%的平均F1得分，进一步证实了传统机器学习方法在此场景下的优越性。
• GloVe嵌入在所有疾病类别中均优于Word2Vec，表明其更能有效捕捉临床术语的模式。
• 领域特定词嵌入的表现劣于预训练嵌入和TF-IDF，可能由于训练数据量不足。
• 结果表明，该数据集在每个疾病类别中包含高度区分性的、频繁出现的关键词，而TF-IDF能有效捕捉这些特征，从而在传统模型中实现高性能。