[论文解读] Spatiotemporal Tile-based Attention-guided LSTMs for Traffic Video Prediction

Tu Dinh Nguyen|arXiv (Cornell University)|Oct 24, 2019

Traffic Prediction and Management Techniques参考文献 12被引用 5

一句话总结

该论文提出了一种基于时空切片注意力引导的LSTM模型，用于高分辨率交通视频预测，通过级联记忆单元增强局部空间非平稳性建模，并采用跨帧全局注意力机制的切片训练方法。该方法在Traffic4Cast 2019挑战赛中实现了SOTA性能，像素级均方误差（MSE）达到0.00952，优于包括3D-CNN和衰减平均模型在内的基线模型。

ABSTRACT

This extended abstract describes our solution for the Traffic4Cast Challenge 2019. The task requires modeling both fine-grained (pixel-level) and coarse (region-level) spatial structure while preserving temporal relationships across long sequences. Building on Conv-LSTM ideas, we introduce a tile-aware, cascaded-memory Conv-LSTM augmented with cross-frame additive attention and a memory-flexible training scheme: frames are sampled per spatial tile so the model learns tile-local dynamics and per-tile memory cells can be updated sparsely, paged, or compressed to scale to large maps. We provide a compact theoretical analysis (tight softmax/attention Lipschitz bound and a tiling error lower bound) explaining stability and the memory-accuracy tradeoffs, and empirically demonstrate improved scalability and competitive forecasting performance on large-scale traffic heatmaps.

研究动机与目标

• 通过联合建模低层次像素动态和高层次空间非平稳性，改进高分辨率交通视频预测中的时空表征学习。
• 解决标准Conv-LSTM和3D-CNN在捕捉多样化城市区域中非平稳交通模式方面的局限性。
• 通过引入切片采样和局部注意力机制，提升训练效率与模型收敛性。
• 在具有复杂时空动态特性的现实世界大规模交通数据集上，超越现有视频预测模型的性能。

提出的方法

• 该模型采用级联记忆架构，其中遗忘门被替换为两个记忆模块：一个通过隐藏状态的时间差分来建模非平稳变化，另一个用于捕捉高层次的平稳性。
• 非平稳模块在连续隐藏状态的差分上应用2D卷积，以学习局部时空动态。
• 平稳模块通过可学习门控机制将非平稳输出与前一记忆单元结合，以保留长期空间模式。
• 每张切片应用一个跨帧全局加性注意力层，使模型能够基于可学习对齐分数动态关注相关的历史帧。
• 输入帧被划分为48个固定大小的切片（62×73），并按切片构建小批量，以提升训练效率和定位精度。
• 采用切片感知的采样策略，防止模型过早关注全局信息，强制其先学习局部时空特征，再整合全局上下文。

实验结果

研究问题

• RQ1 与标准Conv-LSTM或3D-CNN相比，采用级联记忆单元的改进LSTM架构是否能更好地建模高分辨率交通视频数据中的空间非平稳性？
• RQ2 切片采样在大规模交通视频预测任务中如何提升训练效率与预测精度？
• RQ3 每切片应用的跨帧全局注意力机制在聚焦相关历史帧的基础上，能在多大程度上增强特征表示？
• RQ4 为何标准注意力机制与特征融合方法在高分辨率设置下难以在多样化城市交通模式中实现泛化？
• RQ5 基于切片的训练是否会损害局部邻域信息？若存在，应如何缓解？

主要发现

• 所提模型在Traffic4Cast 2019测试集上实现了0.00952的像素级均方误差（MSE），优于次佳基线模型（级联记忆模型）的0.00977 MSE。
• 无切片采样时模型MSE略优（0.00957），但需32GB显存且收敛时间显著更长，表明性能与效率之间存在权衡。
• 衰减平均基线模型的MSE为0.01014，表明简单平均法在此任务中仍是强有力的基线。
• 3D-CNN基线模型的MSE为0.01553，证实标准3D卷积网络在该任务中效果不如所提出的注意力引导、切片训练的LSTM方法。
• 在伊斯坦布尔使用固定大小切片时观察到性能下降，表明切片可能在某些城市布局中破坏局部空间连续性。
• 消融实验表明，切片采样与跨帧注意力机制均对实现最优性能至关重要，两者共同促进更快收敛与更优泛化能力。