[论文解读] Traffic4cast at NeurIPS 2021 -- Temporal and Spatial Few-Shot Transfer Learning in Gridded Geo-Spatial Processes

Christian Eichenberger, Moritz Neun+35 more|arXiv (Cornell University)|Mar 31, 2022

Traffic Prediction and Management Techniques被引用 10

一句话总结

该论文提出了一种少样本迁移学习框架，用于在不同城市环境和时间周期下进行交通状况预测，利用U-Net和图残差网络（Graph ResNet）架构，在10座城市上训练了两年（2019–2020年），使用超过10¹²条GPS探测数据。结果表明，仅使用一小时历史交通数据和静态道路图，基于新冠疫情期间前数据训练的模型即可有效泛化至新冠疫情期间的条件，尽管存在显著的领域偏移，仍取得了优异性能。

ABSTRACT

The IARAI Traffic4cast competitions at NeurIPS 2019 and 2020 showed that neural networks can successfully predict future traffic conditions 1 hour into the future on simply aggregated GPS probe data in time and space bins. We thus reinterpreted the challenge of forecasting traffic conditions as a movie completion task. U-Nets proved to be the winning architecture, demonstrating an ability to extract relevant features in this complex real-world geo-spatial process. Building on the previous competitions, Traffic4cast 2021 now focuses on the question of model robustness and generalizability across time and space. Moving from one city to an entirely different city, or moving from pre-COVID times to times after COVID hit the world thus introduces a clear domain shift. We thus, for the first time, release data featuring such domain shifts. The competition now covers ten cities over 2 years, providing data compiled from over 10^12 GPS probe data. Winning solutions captured traffic dynamics sufficiently well to even cope with these complex domain shifts. Surprisingly, this seemed to require only the previous 1h traffic dynamic history and static road graph as input.

研究动机与目标

• 解决城市交通预测中时间与空间领域偏移带来的模型泛化挑战。
• 评估在新冠疫情期间前训练的模型是否能泛化至不同城市的新冠疫情期间条件。
• 探究在标注数据有限的情况下，少样本迁移学习在网格化地理空间过程中的有效性。
• 提供一个大规模真实世界基准，涵盖10个多样化大都市区和10¹²条GPS探测数据，用于评估交通预测中的鲁棒性。

提出的方法

• 本研究针对核心挑战，分别在每座城市使用2019年新冠疫情期间前的数据训练U-Net架构，推理时仅使用一小时历史交通数据和静态道路图。
• 在扩展挑战中，基于从静态道路地图构建的图结构训练Graph ResNet，节点特征表示各空间位置的动态交通数据。
• 输入包含12个时间步长（1小时）的交通速度和流量数据，分为四个方向区间，编码为8通道张量。
• 通过将道路网络节点映射到像素索引，构建基于图的表示，实现在空间拓扑上的信息传递。
• 使用均方误差（MSE）在6个预测时延（5至60分钟）上评估模型性能，包含逐像素和逐通道指标。
• 基线模型包括一个原始U-Net和一个Graph ResNet，两者均在城市特定数据上进行训练，并在未见城市和时间周期上进行评估。

实验结果

研究问题

• RQ1 在新冠疫情期间前训练的深度学习模型是否能泛化至完全不同城市的新冠疫情期间条件？
• RQ2 实现跨城市和跨时间的交通预测所需的最小输入是什么？
• RQ3 在存在显著领域偏移的情况下，少样本迁移学习在网格化地理空间过程中有多有效？
• RQ4 静态道路图和时间历史数据本身在多大程度上能够实现对多样化城市环境的泛化？

主要发现

• 获胜方案仅使用一小时历史交通数据和静态道路图，即在2021年Traffic4cast挑战中取得了优异性能，表明复杂动态可被极简输入捕捉。
• U-Net架构在交通预测中表现出极高有效性，展现了在复杂地理空间过程中强大的特征提取能力。
• 在2019年数据上训练的模型在10座多样化城市中均有效泛化至2020年新冠疫情期间条件，尽管出行模式存在显著变化。
• 朴素平均基线模型在较长预测时延下误差逐渐增加，但增长趋势低于预期，表明交通动态本身具有内在可预测性。
• Graph ResNet基线模型仅使用0.2万个参数即取得具有竞争力的结果，表明结合结构先验的轻量化模型同样有效。
• 逐像素MSE在使用频率最高的道路上最高，表明在高流量区域，尤其是流量预测中存在更高不确定性。