[论文解读] Temporal-Clustering Invariance in Irregular Healthcare Time Series

Mohammad Taha Bahadori, Zachary C. Lipton|arXiv (Cornell University)|Apr 27, 2019

Machine Learning in Healthcare参考文献 45被引用 14

一句话总结

本文提出时间聚类不变性作为不规则医疗时间序列中的正则化不变性，引入一种随机数据增强方法，通过提高相邻事件合并的概率来粗化时间序列。多分辨率集成（MRE）模型通过在多个粗化分辨率上集成预测，提升了死亡率预测的准确性，在MIMIC-III数据集上达到53.92%的mAP，较基线模型提升2.39个百分点。

ABSTRACT

Electronic records contain sequences of events, some of which take place all at once in a single visit, and others that are dispersed over multiple visits, each with a different timestamp. We postulate that fine temporal detail, e.g., whether a series of blood tests are completed at once or in rapid succession should not alter predictions based on this data. Motivated by this intuition, we propose models for analyzing sequences of multivariate clinical time series data that are invariant to this temporal clustering. We propose an efficient data augmentation technique that exploits the postulated temporal-clustering invariance to regularize deep neural networks optimized for several clinical prediction tasks. We introduce two techniques to temporally coarsen (downsample) irregular time series: (i) grouping the data points based on regularly-spaced timestamps; and (ii) clustering them, yielding irregularly-paced timestamps. Moreover, we propose a MultiResolution Ensemble (MRE) model, improving predictive accuracy by ensembling predictions based on inputs sequences transformed by different coarsening operators. Our experiments show that MRE improves the mAP on the benchmark mortality prediction task from 51.53% to 53.92%.

研究动机与目标

• 探究时间聚类不变性是否存在于不规则临床时间序列数据中。
• 开发利用该不变性的数据增强技术，以正则化深度学习模型。
• 通过多分辨率集成提升临床时间序列任务中模型的鲁棒性与预测准确性。
• 解决由于医疗数据采集实践差异导致的时间聚类不一致问题。

提出的方法

• 提出一种随机粗化算子，随机合并相邻事件，且时间上越接近的事件合并概率越高。
• 引入一种确定性聚类与计数算子，将事件聚类为非均匀间隔的簇，并对值取平均，同时将簇的大小作为特征附加。
• 开发多分辨率集成（MRE）模型，通过多个粗化算子处理同一输入，并使用注意力机制集成预测结果。
• 在所有分辨率上使用相同的神经网络架构，通过参数共享以限制参数增长。
• 在数据预处理阶段应用粗化算子，并持久化存储聚类结果以加速训练。
• 在推理阶段使用基于注意力的平均方法，整合来自多个分辨率的预测结果。

实验结果

研究问题

• RQ1 时间聚类不变性是否存在于多变量临床时间序列中，即无论事件在时间上是聚类还是分散，预测结果是否应保持稳定？
• RQ2 基于时间粗化的数据增强是否能够提升深度学习模型在临床预测任务中的泛化能力与鲁棒性？
• RQ3 对粗化后多个分辨率的时间序列进行预测集成，是否能够提升预测准确性？
• RQ4 与标准基线相比，该方法在应对数据分布偏移和对抗性扰动时是否表现出更强的鲁棒性？

主要发现

• 多分辨率集成（MRE）模型将MIMIC-III基准数据集上死亡率预测任务的平均平均精度（mAP）从51.53%提升至53.92%。
• 所提出的增强技术提升了模型对对抗性扰动的鲁棒性，并减少了过拟合。
• 使用GRU作为弱学习器的MRE-Grid模型，其每轮训练迭代的收敛速度优于单独的弱学习器。
• MRE模型在住院时长（LoS）预测任务中表现更优，平均绝对误差（MAE）与均方根误差（RMSE）均低于先前工作，但结果对数据预处理偏差较为敏感。
• 粗化算子提供了对微小测量误差与时间抖动的一定不变性，类似于时间变形不变性。
• 该方法计算效率高，训练开销极小，因为粗化操作已预先计算并存储。