[论文解读] Nonlinear Traffic Prediction as a Matrix Completion Problem with Ensemble Learning

Wenqing Li, Chuhan Yang+1 more|arXiv (Cornell University)|Jan 8, 2020

Traffic Prediction and Management Techniques参考文献 67被引用 22

一句话总结

本文提出了一种新颖的矩阵补全框架，结合块坐标下降与集成学习，用于信号交叉口的高分辨率（秒级）交通预测。通过将交通状态建模为低秩矩阵，并利用自适应提升方法从历史数据中提取信息，该方法实现了次线性收敛速度与最先进的准确率，在计算效率上优于RNN，同时在阿联酋阿布扎比的真实数据上保持了相近的预测质量。

ABSTRACT

This paper addresses the problem of short-term traffic prediction for signalized traffic operations management. Specifically, we focus on predicting sensor states in high-resolution (second-by-second). This contrasts with traditional traffic forecasting problems, which have focused on predicting aggregated traffic variables, typically over intervals that are no shorter than 5 minutes. Our contributions can be summarized as offering three insights: first, we show how the prediction problem can be modeled as a matrix completion problem. Second, we employ a block-coordinate descent algorithm and demonstrate that the algorithm converges in sub-linear time to a block coordinate-wise optimizer. This allows us to capitalize on the "bigness" of high-resolution data in a computationally feasible way. Third, we develop an ensemble learning (or adaptive boosting) approach to reduce the training error to within any arbitrary error threshold. The latter utilizes past days so that the boosting can be interpreted as capturing periodic patterns in the data. The performance of the proposed method is analyzed theoretically and tested empirically using both simulated data and a real-world high-resolution traffic dataset from Abu Dhabi, UAE. Our experimental results show that the proposed method outperforms other state-of-the-art algorithms.

研究动机与目标

• 为自适应信号控制系统应对秒级分辨率下的短期交通预测挑战。
• 将高分辨率交通预测建模为矩阵补全问题，以利用传感器数据中的时空相关性。
• 开发一种计算高效的块坐标下降算法，实现大规模交通数据的次线性收敛。
• 通过集成学习技术，利用历史数据捕捉周期性模式，将训练误差降低至任意阈值。
• 在阿联酋阿布扎比的真实高分辨率交通数据上对方法进行实证验证，并与当前最先进的基线模型进行比较。

提出的方法

• 将交通预测建模为低秩矩阵补全问题，其中时间与空间维度上的观测传感器状态构成一个部分观测矩阵。
• 应用块坐标下降（BCD）算法优化矩阵补全目标函数，确保实现次线性时间收敛。
• 引入一种集成学习（自适应提升）框架，通过迭代方式利用过去日期的数据作为预测器来改进预测结果。
• 在BCD框架内结合核回归与稀疏逼近技术，以建模非线性交通动态。
• 通过将历史日期作为弱学习器引入提升过程，以增强周期性模式的捕捉能力。
• 采用基于Schur补的更新规则优化矩阵补全目标函数，以确保计算可扩展性。

实验结果

研究问题

• RQ1 高分辨率交通预测能否被有效建模为矩阵补全问题，以充分利用时空相关性？
• RQ2 所提出的块坐标下降算法是否能在大规模交通数据上实现次线性收敛？
• RQ3 结合历史数据的集成学习方法能否降低训练误差并捕捉秒级预测中的周期性交通模式？
• RQ4 在真实世界高分辨率数据上，该方法与SOTA模型（如RNN和SVR）相比，在准确率与计算效率方面表现如何？
• RQ5 该方法在未见数据上的泛化能力如何？测试误差与训练误差的差距有多大？

主要发现

• 所提出的B-BCD方法在真实阿布扎比数据上的测试准确率达到了0.8858 ± 0.0213（1 − dM1）和0.9091 ± 0.0211（1 − ϵMAE），优于BCD、SVR和TS-GLM，且几乎与RNN相当。
• 块坐标下降算法表现出次线性收敛特性，训练与测试准确率曲线迅速收敛，表明具有强大的泛化能力。
• 配对t检验结果表明，B-BCD在1 − dM1与1 − ϵMAE两个指标下均显著优于BCD、SVR与TS-GLM（p < 0.05），仅在与RNN比较时未达显著差异。
• 集成学习方法成功将训练误差降低至任意阈值范围内，通过将历史数据作为预测器，有效捕捉了周期性模式。
• 该方法在准确率上与RNN相当，但计算成本显著更低，适用于实时自适应交通控制。
• 实证结果表明，样本外误差与训练误差的差异不超过10%，表明具有良好的泛化性能。