[论文解读] ShortFuse: Biomedical Time Series Representations in the Presence of Structured Information

Madalina Fiterau, Suvrat Bhooshan+6 more|arXiv (Cornell University)|May 13, 2017

Machine Learning in Healthcare参考文献 18被引用 10

一句话总结

ShortFuse 是一种深度学习框架，通过联合学习结构化协变量（如人口统计学、临床检查）与时间序列数据的表征，利用混合卷积和LSTM层来增强生物医学时间序列建模。通过在时间步之间共享协变量权重，并在网络早期整合这些信息，ShortFuse 在两项临床任务——预测骨关节炎进展和预测脑性瘫痪患者的手术结果——中将预测准确率提高了3%，其性能与专家设计的特征模型相当或更优，且无需人工特征工程。

ABSTRACT

In healthcare applications, temporal variables that encode movement, health status and longitudinal patient evolution are often accompanied by rich structured information such as demographics, diagnostics and medical exam data. However, current methods do not jointly optimize over structured covariates and time series in the feature extraction process. We present ShortFuse, a method that boosts the accuracy of deep learning models for time series by explicitly modeling temporal interactions and dependencies with structured covariates. ShortFuse introduces hybrid convolutional and LSTM cells that incorporate the covariates via weights that are shared across the temporal domain. ShortFuse outperforms competing models by 3% on two biomedical applications, forecasting osteoarthritis-related cartilage degeneration and predicting surgical outcomes for cerebral palsy patients, matching or exceeding the accuracy of models that use features engineered by domain experts.

研究动机与目标

• 解决当前深度学习模型在特征学习过程中将结构化协变量与时间序列独立处理的局限性。
• 通过显式建模时间序列与结构化信息之间的交互，提升生物医学时间序列任务的预测性能。
• 通过使协变量引导表征学习，实现端到端学习，消除对耗时且依赖领域专家的特征工程的依赖。
• 开发一种灵活、与架构无关的方法，适用于多种时间序列形态、采样率和协变量结构。

提出的方法

• 引入混合卷积层，其中结构化协变量以共享权重的方式参数化卷积滤波器，覆盖整个时间域。
• 开发一种混合LSTM单元，利用结构化协变量通过共享的、时间不变的权重，影响所有门（输入门、遗忘门、输出门）和单元状态更新。
• 在时间步之间强制参数共享，以防止过拟合，并确保协变量效应在序列中稳定且可解释。
• 在网络架构中早期融合协变量，以最大化其对学习表征的影响。
• 在混合层中应用多头注意力机制，动态加权不同协变量在每个时间步的相关性。
• 在深度学习流程中端到端应用该方法，实现时间序列与协变量表征的联合优化。

实验结果

研究问题

• RQ1 当结构化协变量在网络中早期集成时，是否能显著提升生物医学时间序列的深度学习表征？
• RQ2 联合建模时间序列与结构化数据是否优于独立处理或在流水线后期合并的方法？
• RQ3 深度学习框架能否在不依赖专家设计特征的情况下实现时间序列分析的性能超越或持平最先进水平？
• RQ4 在时间序列模型中整合静态协变量时，时间步之间的参数共享如何影响模型稳定性与泛化能力？
• RQ5 协变量在多大程度上影响学习到的表征？其集成时机是否影响预测准确率？

主要发现

• 在预测骨关节炎相关软骨退化方面，ShortFuse 将准确率提升3%，达到74%，优于标准LSTM的71%。
• 在预测脑性瘫痪患者手术结果方面，ShortFuse 达到78%的准确率，与基于人工工程特征训练的模型性能相当，且比之前最先进模型高出3%。
• 该方法优于多种基线模型，包括多核学习（76%准确率）和使用工程特征的随机森林（78%准确率），表明其在不同架构下的鲁棒性。
• ShortFuse 在无需领域特定特征工程的情况下达到最先进性能，降低了对专家知识的依赖。
• 将结构化协变量早期集成到网络中，相比后期融合或独立处理，能显著提升表征学习效果。
• 混合LSTM层可基于患者特定协变量动态调整记忆机制（如遗忘窗口长度），从而提升模型可解释性与性能。