[论文解读] Supervised Laplacian Eigenmaps with Applications in Clinical Diagnostics for Pediatric Cardiology

Thomas Perry, Hongyuan Zha+3 more|arXiv (Cornell University)|Jul 27, 2012

Machine Learning in Healthcare参考文献 19被引用 5

一句话总结

该论文提出了一种新型方法——监督拉普拉斯特征映射（SLE），通过联合学习文本嵌入与分类器参数，将电子健康记录中的临床文本嵌入低维空间，同时保留局部相似性并优化诊断预测。通过交替梯度下降联合学习文本嵌入与分类器参数，SLE在预测儿科心脏病方面优于LSI、LDA和LFDA，AUC达到0.782，MCC达到0.374，相较于无监督拉普拉斯特征映射，AUC提升2.69%，MCC提升5.35%。

ABSTRACT

Electronic health records contain rich textual data which possess critical predictive information for machine-learning based diagnostic aids. However many traditional machine learning methods fail to simultaneously integrate both vector space data and text. We present a supervised method using Laplacian eigenmaps to augment existing machine-learning methods with low-dimensional representations of textual predictors which preserve the local similarities. The proposed implementation performs alternating optimization using gradient descent. For the evaluation we applied our method to over 2,000 patient records from a large single-center pediatric cardiology practice to predict if patients were diagnosed with cardiac disease. Our method was compared with latent semantic indexing, latent Dirichlet allocation, and local Fisher discriminant analysis. The results were assessed using AUC, MCC, specificity, and sensitivity. Results indicate supervised Laplacian eigenmaps was the highest performing method in our study, achieving 0.782 and 0.374 for AUC and MCC respectively. SLE showed an increase in 8.16% in AUC and 20.6% in MCC over the baseline which excluded textual data and a 2.69% and 5.35% increase in AUC and MCC respectively over unsupervised Laplacian eigenmaps. This method allows many existing machine learning predictors to effectively and efficiently utilize the potential of textual predictors.

研究动机与目标

• 解决传统机器学习模型忽略未结构化临床文本的问题，尽管这些文本在电子健康记录中具有预测价值。
• 开发一种方法，联合优化文本嵌入与分类器参数，以提升儿科心脏病诊断性能。
• 在统一的低维表示中整合文本预测因子与数值向量数据，同时保留局部语义相似性。
• 在包含超过2,000名患者记录的真实儿科心脏病数据集上评估该方法，以相对现有降维技术评估其预测性能。
• 证明监督文本嵌入可显著提升诊断准确性，超越无监督或基线方法。

提出的方法

• 该方法使用监督拉普拉斯特征映射，将文本预测因子嵌入低维欧几里得空间，以保留临床记录之间的局部相似性。
• 通过梯度下降交替优化嵌入与分类器参数，联合最小化包含预测误差与流形正则化的损失函数。
• 嵌入通过源自文本数据的相似性矩阵构建，拉普拉斯矩阵用于强制实施局部邻域结构。
• 通过加权k近邻方法支持样本外推理，以估计新测试文档的嵌入。
• 目标函数包含一个超参数λ，用于平衡拟合训练数据与保持嵌入空间平滑性之间的权衡。
• 采用逻辑回归作为基础分类器，从数值与嵌入文本特征的组合中预测心脏病状态。

实验结果

研究问题

• RQ1 监督拉普拉斯特征映射能否有效整合临床文本记录与数值数据，以提升儿科心脏病诊断预测？
• RQ2 SLE在预测心脏病方面的性能与无监督及监督基线方法（如LSI、LDA和LFDA）相比如何？
• RQ3 联合优化文本嵌入与分类器参数是否能带来优于独立训练嵌入与预测器的泛化性能？
• RQ4 SLE在实际约束条件下（如对新未见临床记录估计嵌入）表现如何？
• RQ5 超参数λ对SLE模型的稳定性和性能有何影响？

主要发现

• SLE实现了AUC为0.782，MCC为0.374，在AUC与MCC指标上均优于所有基线方法，包括LSI、LDA和LFDA。
• 与排除文本数据的基线模型相比，SLE的AUC提高了8.16%，MCC提高了20.6%。
• 相较于无监督拉普拉斯特征映射，SLE的AUC提高了2.69%，MCC提高了5.35%，证明了嵌入过程中引入监督的益处。
• 尽管在极低维空间（<17）时LSI表现优于SLE，但SLE在估计新测试数据的嵌入时表现更优，归因于SLE高效的样本外推理能力。
• 与标准平均法相比，用于样本外嵌入估计的加权k近邻方法显著更优，因其更强调最相似的邻居。
• 该方法对超参数λ敏感，但增量优化策略在实践中有效实现了最优性能。