[论文解读] Snomed2Vec: Random Walk and Poincar\\'e Embeddings of a Clinical Knowledge Base for Healthcare Analytics

Khushbu Agarwal, Tome Eftimov+4 more|arXiv (Cornell University)|Jul 19, 2019

Machine Learning in Healthcare被引用 7

一句话总结

本文提出Snomed2Vec，一种基于图的表征学习框架，利用SNOMED-CT中的随机游走和双曲嵌入技术生成医学概念嵌入。结果表明，双曲嵌入显著优于最先进的方法（如Med2Vec和CUI2Vec），在概念相似性任务中提升5–6倍，在患者诊断预测任务中提升6–20%。

ABSTRACT

Representation learning methods that transform encoded data (e.g., diagnosis and drug codes) into continuous vector spaces (i.e., vector embeddings) are critical for the application of deep learning in healthcare. Initial work in this area explored the use of variants of the word2vec algorithm to learn embeddings for medical concepts from electronic health records or medical claims datasets. We propose learning embeddings for medical concepts by using graph-based representation learning methods on SNOMED-CT, a widely popular knowledge graph in the healthcare domain with numerous operational and research applications. Current work presents an empirical analysis of various embedding methods, including the evaluation of their performance on multiple tasks of biomedical relevance (node classification, link prediction, and patient state prediction). Our results show that concept embeddings derived from the SNOMED-CT knowledge graph significantly outperform state-of-the-art embeddings, showing 5-6x improvement in ``concept similarity" and 6-20\\% improvement in patient diagnosis.

研究动机与目标

• 开发一个可复现、开源的框架，用于从SNOMED-CT（一个大规模临床知识图谱）中学习医学概念嵌入。
• 评估基于图的嵌入方法（node2vec、metapath2vec和Poincaré嵌入）在临床相关下游任务中的性能。
• 证明基于知识图谱的嵌入方法在准确性和层次推理能力方面优于现有的基于EHR的方法（如Med2Vec和CUI2Vec）。
• 提供预训练嵌入和代码以供公众重用，促进可复现性，并推动其在医疗数据分析中的广泛应用。

提出的方法

• 采用基于随机游走采样的node2vec方法，学习SNOMED-CT概念的低维向量表示，以保留图的局部与全局结构。
• 使用metapath2vec通过沿特定语义路径（如'isa'或'related_to'）约束随机游走，建模SNOMED-CT中的多关系依赖。
• 利用Poincaré嵌入在双曲空间中建模SNOMED-CT的层次结构，该方法在理论上适用于树状本体结构。
• 使用SNOMED-CT中的470万条关系构建训练数据，并通过负采样平衡正负链接预测对。
• 利用CCS本体将MIMIC-III EHR数据集中的ICD-9编码映射到SNOMED-CT概念，以支持患者状态预测。
• 通过节点分类（43种语义类型）、链接预测（SVM分类器）、概念相似性（自助重抽样）和患者诊断预测（多标签分类）评估嵌入性能。

实验结果

研究问题

• RQ1 基于图的嵌入方法在SNOMED-CT上的表现是否优于基于EHR的方法（如Med2Vec和CUI2Vec）？
• RQ2 能够以双曲空间建模层次结构的Poincaré嵌入，与欧几里得空间嵌入相比，在捕捉临床概念关系方面表现如何？
• RQ3 在需要层次推理的任务（如节点分类）与一般相关性任务（如概念相似性）中，哪种嵌入方法表现最佳？
• RQ4 嵌入维度如何影响不同评估任务的性能？
• RQ5 与现有最先进嵌入相比，基于SNOMED-CT的嵌入在多大程度上提升了患者状态预测性能？

主要发现

• Poincaré嵌入在多标签节点分类任务中相比CUI2vec实现了50%的准确率提升，相比Med2Vec则有数个数量级的提升，表明其在语义类型预测任务中表现卓越。
• 在链接预测任务中，node2vec相比Med2Vec提升15%，相比CUI2vec提升36%，表明其在捕捉长程和间接关系方面表现优异。
• 在概念相似性任务中，node2vec在评估语义组间非层次关系时，相比CUI2vec具有5–6倍更高的统计效能。
• Poincaré嵌入在患者诊断预测任务中相比次优方法CUI2vec提升了6%，尤其在预测常见诊断时表现突出。
• metapath2vec在预测最常见诊断时相比CUI2vec和Med2Vec提升20%，凸显其在建模复杂关系模式方面的优势。
• 发现Poincaré和node2vec的最佳嵌入维度为100，而metapath2vec在不同维度下均表现稳定，表明其对超参数选择具有鲁棒性。