[论文解读] Relaxed Parameter Sharing: Effectively Modeling Time-Varying Relationships in Clinical Time-Series

Jeeheh Oh, Jiaxuan Wang+3 more|arXiv (Cornell University)|Jun 7, 2019

Machine Learning in Healthcare参考文献 42被引用 9

一句话总结

该论文提出 mixLSTM，一种新型的 RNN 架构，通过使用混合模型放松 LSTMs 中的完全参数共享，实现时变参数，显著提升了在具有时间条件漂移的临床时间序列任务上的性能——尤其在数据稀缺情况下。该方法在三项临床预测任务（急性呼吸衰竭、休克、院内死亡率）中均优于标准 LSTM 和当前最先进基线模型。

ABSTRACT

Recurrent neural networks (RNNs) are commonly applied to clinical time-series data with the goal of learning patient risk stratification models. Their effectiveness is due, in part, to their use of parameter sharing over time (i.e., cells are repeated hence the name recurrent). We hypothesize, however, that this trait also contributes to the increased difficulty such models have with learning relationships that change over time. Conditional shift, i.e., changes in the relationship between the input X and the output y, arises when risk factors associated with the event of interest change over the course of a patient admission. While in theory, RNNs and gated RNNs (e.g., LSTMs) in particular should be capable of learning time-varying relationships, when training data are limited, such models often fail to accurately capture these dynamics. We illustrate the advantages and disadvantages of complete parameter sharing (RNNs) by comparing an LSTM with shared parameters to a sequential architecture with time-varying parameters on prediction tasks involving three clinically-relevant outcomes: acute respiratory failure (ARF), shock, and in-hospital mortality. In experiments using synthetic data, we demonstrate how parameter sharing in LSTMs leads to worse performance in the presence of conditional shift. To improve upon the dichotomy between complete parameter sharing and no parameter sharing, we propose a novel RNN formulation based on a mixture model in which we relax parameter sharing over time. The proposed method outperforms standard LSTMs and other state-of-the-art baselines across all tasks. In settings with limited data, relaxed parameter sharing can lead to improved patient risk stratification performance.

研究动机与目标

• 研究时间条件漂移（即临床特征与结果之间的关系随时间变化）对标准 RNN 在临床预测中性能的影响。
• 解决 LSTMs 中完全参数共享的局限性，该局限性阻碍了对时变关系的建模，尤其是在训练数据有限的情况下。
• 提出一种新的 RNN 框架，通过混合模型放松参数共享，实现泛化能力与适应能力之间的平衡。
• 在合成数据和真实临床数据集上评估所提方法，以证明其在风险分层性能上的改进。
• 提供对危重症环境中特征重要性随时间演变的可解释性见解。

提出的方法

• 提出 mixLSTM，一种类专家混合（mixture-of-experts）风格的 RNN，通过学习多个 LSTM 单元之间的时变混合权重，每个单元拥有独立的参数集。
• 混合中的每个 LSTM 单元均被训练以专门处理患者住院的不同时间阶段，从而在不进行完全参数共享的情况下实现时变表征。
• 使用软注意力机制计算时变混合权重，使模型能够在每个时间步动态选择最相关的单元。
• 模型通过交叉熵损失进行端到端训练，适用于二分类任务，并采用正则化方法防止在低数据环境下过拟合。
• 采用基于排列的敏感性分析方法解释随时间演变的特征重要性，补充基于梯度的显著性方法。
• 使用 AUROC 评估性能，并在合成数据和真实临床数据上将 mixLSTM 与标准 LSTM 及其他 SOTA 基线模型进行比较。

实验结果

研究问题

• RQ1 LSTM 中的完全参数共享是否会在临床特征与结果之间的关系随时间变化时阻碍性能？
• RQ2 放松 RNN 中的参数共享是否能提升在具有时间条件漂移的临床时间序列任务中的预测性能？
• RQ3 mixLSTM 在真实世界临床预测任务中与标准 LSTM 及其他最先进模型相比表现如何？
• RQ4 在预测急性呼吸衰竭、休克和院内死亡率等不良结局时，特征重要性的时间变化模式是什么？
• RQ5 所提方法是否能泛化到可变长度的临床时间序列数据，还是仅限于固定长度序列？

主要发现

• mixLSTM 在所有三项临床预测任务（急性呼吸衰竭、休克、院内死亡率）中均显著优于标准 LSTM 和其他 SOTA 模型。
• 在具有受控条件漂移的合成数据上，mixLSTM 的 AUROC 显著优于标准 LSTM，尤其在数据稀缺情况下表现更优。
• 基于排列的特征重要性分析显示，关键预测因子随时间发生变化——例如，在急性呼吸衰竭的 ICU 早期，呼吸频率最重要，而后期体温的重要性逐渐上升。
• 该模型捕捉到了随时间演变的风险动态，例如持续异常的心率会随时间放大休克风险，而标准 LSTM 无法有效建模此类动态。
• 混合机制使模型能够跨时间阶段实现专业化，学习到 ICU 入院早期、中期和晚期的不同表征。
• 尽管在处理可变长度序列方面存在局限性，mixLSTM 在固定长度临床时间序列设置中仍表现出强大的泛化能力和可解释性。