[论文解读] Traffic flow prediction using Deep Sedenion Networks

Alabi Bojesomo, Panos Liatsis+1 more|arXiv (Cornell University)|Dec 7, 2020

Traffic Prediction and Management Techniques参考文献 11被引用 5

一句话总结

该论文提出了一种用于交通流预测的新型深度八元数U-Net架构，利用16维八元数将静态城市特征与12个动态交通帧（5分钟间隔）联合编码为统一的多模态表征。该模型在Traffic4cast2020挑战赛中实现了1.31e-3的测试MSE，表现出优异的参数效率和在六个未来时间区间（5–60分钟）内预测速度与流量的强性能。

ABSTRACT

In this paper, we present our solution to the Traffic4cast2020 traffic prediction challenge. In this competition, participants are to predict future traffic parameters (speed and volume) in three different cities: Berlin, Istanbul and Moscow. The information provided includes nine channels where the first eight represent the speed and volume for four different direction of traffic (NE, NW, SE and SW), while the last channel is used to indicate presence of traffic incidents. The expected output should have the first 8 channels of the input at six future timing intervals (5, 10, 15, 30, 45, and 60min), while a one hour duration of past traffic data, in 5mins intervals, are provided as input. We solve the problem using a novel sedenion U-Net neural network. Sedenion networks provide the means for efficient encoding of correlated multimodal datasets. We use 12 of the 15 sedenion imaginary parts for the dynamic inputs and the real sedenion component is used for the static input. The sedenion output of the network is used to represent the multimodal traffic predictions. Proposed system achieved a validation MSE of 1.33e-3 and a test MSE of 1.31e-3.

研究动机与目标

• 通过将静态城市特征与动态交通序列整合到单一表征中，解决交通数据的多模态特性。
• 在三个主要城市中，提升对多个未来时间范围（5–60分钟）交通速度与流量的预测精度。
• 通过基于八元数的卷积层，减少模型参数量，同时保持表征能力。
• 开发一种参数高效、端到端的深度学习框架，专为高分辨率交通地图分割任务设计。
• 在U-Net架构中，通过超复数代数实现动态与静态模态的早期融合，验证其有效性。

提出的方法

• 将输入数据表示为16个分量的八元数：实部编码静态城市特征（7通道输入），12个虚部分量编码12个过去时间帧的动态交通速度与流量（9通道输入）。
• 使用自定义的八元数卷积层，执行16维超复数乘法，通过重用每个权重分量16次来减少参数量，同时保持完整的特征交互。
• 采用类似U-Net的架构，包含编码器、瓶颈和解码器模块，其中所有卷积层均为基于八元数的结构，仅初始特征投影层除外。
• 在每个八元数卷积后应用批量归一化和ReLU激活，并通过编码器到解码器的跳跃连接实现特征恢复。
• 通过选择最终八元数输出中对应所需未来时间步长的特定分量来提取预测结果（5、10、...、60分钟）。
• 使用均方误差（MSE）损失和Adam优化器进行训练，初始初始学习率为1e-4，当验证损失达到平台期时降低至1e-6。

实验结果

研究问题

• RQ1 基于八元数的超复数网络能否有效建模多模态交通数据（动态速度/流量与静态城市特征）之间的相关性，从而提升预测性能？
• RQ2 通过八元数表征实现的动态与静态输入的早期融合，是否优于晚期融合或标准卷积网络在交通预测中的表现？
• RQ3 使用16维八元数卷积在多大程度上减少了模型参数量，同时不牺牲预测性能？
• RQ4 该架构在柏林、伊斯坦布尔、莫斯科等不同城市环境中的泛化能力如何，这些城市具有不同的交通模式？
• RQ5 鉴于其输出结构，该模型是否可在不修改架构的前提下预测多个未来时间步长？

主要发现

• 所提出的Deep Sedenion U-Net在Traffic4cast2020测试集上实现了1.33893e-3的验证MSE和1.30845e-3的测试MSE，表明其具有出色的泛化能力。
• 由于八元数权重分量在16个输出维度上的重用，模型表现出显著的参数效率，大幅减少了可训练参数数量。
• 通过八元数表征实现的早期融合，有效实现了动态交通序列与静态城市特征的联合建模，提升了预测精度。
• 该架构天然支持多时间范围预测，因为16个分量的输出可直接提取最多12个未来时间步长的预测结果。
• 尽管超参数搜索受限，模型仅在单张GPU（RTX 2080 Ti）上训练，仍取得了具有竞争力的结果。
• 在所有三个城市（柏林、伊斯坦布尔、莫斯科）中性能均保持稳定，表明其对城市布局和交通模式差异具有鲁棒性。