[论文解读] Time Series Modeling for Heart Rate Prediction: From ARIMA to Transformers

Haowei Ni, Shuchen Meng+6 more|arXiv (Cornell University)|Jun 18, 2024

Non-Invasive Vital Sign Monitoring被引用 4

一句话总结

本研究对比了传统时间序列模型（ARIMA、Prophet）与深度学习架构（包括LSTM、TCN、TSMixer和transformer）在MIT-BIH数据库上的心率预测表现。基于transformer的模型，尤其是PatchTST，在准确率方面显著优于其他所有模型，能够以更低的误差指标捕捉生理数据中的复杂时间依赖性和非线性模式。

ABSTRACT

Cardiovascular disease (CVD) is a leading cause of death globally, necessitating precise forecasting models for monitoring vital signs like heart rate, blood pressure, and ECG. Traditional models, such as ARIMA and Prophet, are limited by their need for manual parameter tuning and challenges in handling noisy, sparse, and highly variable medical data. This study investigates advanced deep learning models, including LSTM, and transformer-based architectures, for predicting heart rate time series from the MIT-BIH Database. Results demonstrate that deep learning models, particularly PatchTST, significantly outperform traditional models across multiple metrics, capturing complex patterns and dependencies more effectively. This research underscores the potential of deep learning to enhance patient monitoring and CVD management, suggesting substantial clinical benefits. Future work should extend these findings to larger, more diverse datasets and real-world clinical applications to further validate and optimize model performance.

研究动机与目标

• 为解决ARIMA和Prophet等传统时间序列模型在处理噪声大、稀疏且高度多变的医疗时间序列数据时的局限性。
• 评估深度学习模型（包括LSTM、TCN、TSMixer以及基于transformer的架构）在MIT-BIH数据库心率预测任务中的性能表现。
• 识别在临床相关时间序列场景下，能够以高精度和强鲁棒性预测心率动态的最优模型架构。
• 为transformer模型在捕捉生理时间序列中复杂时间依赖关系方面的优越性提供实证依据。
• 为未来生物医学时间序列预测研究建立基准，并支持临床患者监测与早期干预应用。

提出的方法

• 本研究使用MIT-BIH心律失常数据库中四位个体的心率时间序列数据，序列长度介于7至15分钟之间。
• 传统模型（ARIMA、Prophet）采用标准超参数配置，依赖人工调参和季节性分解。
• 深度学习模型包括LSTM、TCN、TSMixer以及基于transformer的架构（如PatchTST、iTransformer和TimesNet），均在原始时间序列上进行端到端训练。
• 模型评估采用标准指标：RMSE、MAE和MAPE，训练/验证/测试集划分严格保持时间顺序。
• transformer模型中的自注意力机制可实现对时间依赖关系的动态加权，提升长程模式识别能力。
• PatchTST采用基于分块的输入表示方式和简化的transformer编码器，提升了在序列数据上的效率与性能。

Figure 1 : T1 Heart Rate time series.

实验结果

研究问题

• RQ1 ARIMA和Prophet等传统统计模型在临床数据库中短时、噪声较大的心率时间序列上的表现如何？
• RQ2 LSTM、TCN和TSMixer等深度学习模型在心率预测中相较于传统模型能否显著提升预测精度？
• RQ3 基于transformer的架构（如PatchTST、iTransformer和TimesNet）是否在心率预测中显著优于传统模型及非transformer类深度学习模型？
• RQ4 架构设计（尤其是自注意力机制与分块处理）对生理时间序列预测中模型性能有何影响？
• RQ5 基于transformer的模型能否在真实患者监测场景中泛化至复杂且非线性的动态行为？

主要发现

• PatchTST在所有模型中实现了最低的RMSE和MAE，证明其在预测心率动态方面表现最优。
• iTransformer在精度上紧随PatchTST，其预测值在所有测试序列中均与真实值高度吻合。
• TCN和TSMixer表现出较强性能，但误差范围略高于顶级transformer模型。
• LSTM的预测结果相比其他深度学习模型具有更高的变异性，但仍优于ARIMA和Prophet。
• 传统模型（ARIMA和Prophet）表现出最高的误差率，尤其在非平稳或噪声较大的时间段与真实心率值存在显著偏差。
• 可视化对比结果表明，基于transformer的模型（尤其是PatchTST和iTransformer）生成的预测曲线更加平滑且更贴近真实值。

Figure 2 : Prophet fit over the entire T1 dataset. The actual fit is depicted in light blue, the trend function is represented by a red line, and the trend changepoints are marked by red dashed vertical lines.