[论文解读] Representation Learning with Autoencoders for Electronic Health Records: A Comparative Study

Najibesadat Sadati, Milad Zafar Nezhad+2 more|arXiv (Cornell University)|Jan 6, 2018

Machine Learning in Healthcare参考文献 49被引用 9

一句话总结

本文提出了一项关于深度自编码器架构——堆叠稀疏自编码器（SSAE）、深度置信网络（DBN）、对抗自编码器（AAE）和变分自编码器（VAE）——在电子健康记录（EHR）表示学习中的比较研究。结果表明，在小样本数据集中，SSAE由于稀疏正则化而表现更优；而在大样本数据集中，VAE通过有效建模数据分布显著提升了心力衰竭风险和ICU住院时长等临床结局的预测准确率。

ABSTRACT

Increasing volume of Electronic Health Records (EHR) in recent years provides great opportunities for data scientists to collaborate on different aspects of healthcare research by applying advanced analytics to these EHR clinical data. A key requirement however is obtaining meaningful insights from high dimensional, sparse and complex clinical data. Data science approaches typically address this challenge by performing feature learning in order to build more reliable and informative feature representations from clinical data followed by supervised learning. In this paper, we propose a predictive modeling approach based on deep learning based feature representations and word embedding techniques. Our method uses different deep architectures (stacked sparse autoencoders, deep belief network, adversarial autoencoders and variational autoencoders) for feature representation in higher-level abstraction to obtain effective and robust features from EHRs, and then build prediction models on top of them. Our approach is particularly useful when the unlabeled data is abundant whereas labeled data is scarce. We investigate the performance of representation learning through a supervised learning approach. Our focus is to present a comparative study to evaluate the performance of different deep architectures through supervised learning and provide insights in the choice of deep feature representation techniques. Our experiments demonstrate that for small data sets, stacked sparse autoencoder demonstrates a superior generality performance in prediction due to sparsity regularization whereas variational autoencoders outperform the competing approaches for large data sets due to its capability of learning the representation distribution.

研究动机与目标

• 评估不同深度自编码器架构在从高维、稀疏且复杂的EHR数据中学习稳健、低维表示方面的有效性。
• 探究通过自编码器进行表示学习是否能提升在标注数据有限的临床数据集中的下游监督预测性能。
• 基于数据集规模（小规模与大规模）和数据特征，为选择最优自编码器架构提供实证指导。
• 比较自编码器无监督预训练与传统基线模型（如APACHE）在预测心力衰竭风险和ICU住院时长等临床结局方面的性能。

提出的方法

• 采用四种深度自编码器架构：堆叠稀疏自编码器（SSAE）、深度置信网络（DBN）、对抗自编码器（AAE）和变分自编码器（VAE），用于从原始EHR数据中学习特征表示。
• 对来自两个来源的EHR数据进行预处理：DMC（小样本数据集，约7,000条记录）和eICU（大样本数据集，约7,000–8,000条记录），清洗和特征工程后每名患者具有150多个特征。
• 使用重建损失（SSAE使用MAE，VAE使用MSE + KL散度）和正则化技术以提升泛化能力并防止过拟合。
• 在学习到的表示上应用监督学习模型（随机森林、Lasso、SVM），评估其在两个临床任务中的预测性能：基于LVMI的心力衰竭风险预测和ICU住院时长（LOS）预测。
• 在100个周期内训练和验证模型，监控训练和验证损失以评估收敛性和泛化能力，尤其关注SSAE和VAE的表现。
• 使用RMSE及其他回归指标，在小样本和大样本数据集上将性能与基线模型（包括APACHE评分系统）进行比较。

实验结果

研究问题

• RQ1 不同深度自编码器架构（SSAE、DBN、AAE、VAE）在从高维、稀疏EHR数据中学习有效表示方面表现如何？
• RQ2 与使用原始特征相比，通过自编码器进行表示学习是否能提升心力衰竭风险和ICU住院时长等临床结局的预测性能？
• RQ3 数据集规模（小规模 vs. 大规模）如何影响常规自编码器（如SSAE、DBN）与生成式自编码器（如AAE、VAE）的相对性能？
• RQ4 正则化（如SSAE中的稀疏性、VAE中的KL散度）在低资源标注设置下对模型泛化能力和预测准确率有何影响？
• RQ5 基于自编码器的表示能否在预测ICU结局方面超越既有的临床评分系统（如APACHE）？

主要发现

• 在小样本数据集（DMC，约7,000条记录）中，堆叠稀疏自编码器（SSAE）在随机森林模型上实现了最低的RMSE（0.20），显著优于其他自编码器和原始数据基线。
• 在大样本数据集（Cardiac-eICU，约7,000条记录）中，变分自编码器（VAE）在随机森林模型上表现最佳，RMSE为0.14，优于所有其他自编码器类型及APACHE模型（RMSE = 8.04）。
• 对抗自编码器（AAE）在两个数据集中均表现良好，RMSE分别为0.57（Cardiac-eICU）和0.72（Neuro-eICU），但在大规模设置下仍逊于VAE。
• 训练和验证损失曲线表明，SSAE和VAE均实现了良好收敛，SSAE在小样本数据集中损失更低，VAE在大样本数据集中损失更低，表明其在各自适用场景中具有更好的泛化能力。
• APACHE评分系统在两个eICU数据集中表现均较差，RMSE值分别为8.04（Cardiac）和8.12（Neuro），表明深度表示学习显著优于传统临床评分系统。
• 通过自编码器进行表示学习在所有监督模型（RF、Lasso、SVM）中均一致提升了预测准确率，其中VAE在大样本数据集中、SSAE在小样本数据集中带来的性能增益最为显著。