[论文解读] Multi-task learning of time series and its application to the travel demand

Boris Chidlovskii|arXiv (Cornell University)|Dec 21, 2017

Time Series Analysis and Forecasting参考文献 12被引用 5

一句话总结

本文提出了一种多任务学习框架，用于在公共交通需求预测中联合预测相互依赖的时间序列，采用基于正则化的支持向量回归，并结合两种对齐策略：使用动态时间规整（DTW）对相似序列进行聚类，以及采用连续轮廓模型（CPM）推断共享的潜在表示。基于CPM的方法在多种场景下相比单任务学习将均方误差降低了3%至12%，证明了其在出行需求预测中具备更高的鲁棒性和准确性。

ABSTRACT

We address the problem of modeling and prediction of a set of temporal events in the context of intelligent transportation systems. To leverage the information shared by different events, we propose a multi-task learning framework. We develop a support vector regression model for joint learning of mutually dependent time series. It is the regularization-based multi-task learning previously developed for the classification case and extended to time series. We discuss the relatedness of observed time series and first deploy the dynamic time warping distance measure to identify groups of similar series. Then we take into account both time and scale warping and propose to align multiple time series by inferring their common latent representation. We test the proposed models on the problem of travel demand prediction in Nancy (France) public transport system and analyze the benefits of multi-task learning.

研究动机与目标

• 解决智能交通系统中预测多个相互依赖时间序列的挑战，特别是在公共交通需求预测中的应用。
• 通过利用相关时间序列之间的共享信息，克服单任务学习的局限性，以提高预测准确性。
• 开发一种基于正则化的多任务支持向量回归模型，适用于时间序列的回归任务。
• 通过引入共享潜在表示来应对时间序列中的时间与尺度扭曲问题，实现对齐。
• 在法国南锡的真实出行需求数据上评估所提出的方法，集成外部特征如天气、日历和交通状况。

提出的方法

• 使用动态时间规整（DTW）度量时间序列之间的相似性，并对相关序列进行聚类，以支持多任务学习。
• 提出一种连续轮廓模型（CPM），用于推断所有时间序列之间的共享潜在表示，通过类似Viterbi的推理实现对齐。
• 应用基于正则化的多任务学习支持向量回归，通过在相关任务间共享模型参数，提升泛化能力。
• 将外部特征（天气、日历、交通）整合到预测模型中，以增强预测性能。
• 采用类似Viterbi的解码方法，将观测到的时间序列对齐到推断出的公共潜在轮廓，以改善时间对齐效果。
• 使用南锡公共交通网络的历史上下车数据进行模型训练与评估，采用不同的聚合周期（1小时和10分钟）。

实验结果

研究问题

• RQ1 与单任务学习相比，多任务学习是否能提高公共交通需求预测中时间序列预测的准确性？
• RQ2 在本研究背景下，动态时间规整（DTW）在识别相关时间序列聚类方面是否有效？
• RQ3 推断公共潜在表示（CPM）是否能带来优于基于DTW聚类的对齐与预测性能？
• RQ4 天气、节假日和交通状况等外部因素如何影响模型的预测性能？
• RQ5 数据延迟（如缺少最后一次观测）对多任务学习模型的鲁棒性影响如何，相较于单任务模型？

主要发现

• 基于连续轮廓模型（CPM）的多任务学习在所有实验中相比单任务学习将均方误差（MSE）降低了3%至12%。
• 基于DTW的聚类方法相比单任务学习将预测准确性提高了2%至7%，但其鲁棒性低于CPM，尤其是在数据延迟情况下。
• 在1小时周期区域实验中，CPM-based多任务学习在无延迟（0-delay）场景下相比单任务学习将误差降低了3%至12%。
• 在数据延迟（1-delay）场景下，基于CPM的多任务学习仍保持优越性能，相比单任务学习将准确性提高了3%至16%。
• 与不包含此类特征的模型相比，引入外部观测（天气、日历、交通）使MSE降低了40%至60%。
• 基于CPM的方法在不同站点数量（2至20个）和不同延迟条件（P=40%和90%）下均表现出更高的稳定性与一致的性能提升。