[论文解读] TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models

Yilong Ren, Yue Chen+4 more|arXiv (Cornell University)|Mar 4, 2024

Traffic Prediction and Management Techniques被引用 11

一句话总结

TPLLM 使用一个预训练的大语言模型，结合基于 CNN 的序列编码器和基于 GCN 的图编码器，使用 LoRA 进行微调，在全样本和少样本场景下进行交通预测。

ABSTRACT

Traffic prediction constitutes a pivotal facet within the purview of Intelligent Transportation Systems (ITS), and the attainment of highly precise predictions holds profound significance for efficacious traffic management. The precision of prevailing deep learning-driven traffic prediction models typically sees an upward trend with a rise in the volume of training data. However, the procurement of comprehensive spatiotemporal datasets for traffic is often fraught with challenges, primarily stemming from the substantial costs associated with data collection and retention. Consequently, developing a model that can achieve accurate predictions and good generalization ability in areas with limited historical traffic data is a challenging problem. It is noteworthy that the rapidly advancing pretrained Large Language Models (LLMs) of recent years have demonstrated exceptional proficiency in cross-modality knowledge transfer and few-shot learning. Recognizing the sequential nature of traffic data, similar to language, we introduce TPLLM, a novel traffic prediction framework leveraging LLMs. In this framework, we construct a sequence embedding layer based on Convolutional Neural Networks (CNNs) and a graph embedding layer based on Graph Convolutional Networks (GCNs) to extract sequence features and spatial features, respectively. These are subsequently integrated to form inputs that are suitable for LLMs. A Low-Rank Adaptation (LoRA) fine-tuning approach is applied to TPLLM, thereby facilitating efficient learning and minimizing computational demands. Experiments on two real-world datasets demonstrate that TPLLM exhibits commendable performance in both full-sample and few-shot prediction scenarios, effectively supporting the development of ITS in regions with scarce historical traffic data.

研究动机与目标

• 在历史数据有限的区域推动准确的交通预测。
• 利用预训练的大语言模型实现对时空交通数据的少样本学习。
• 将时间序列特征与图结构空间特征集成为 LLM 输入。
• 展示通过 LoRA 实现的高成本效益微调，无需对整个模型重新训练。
• 在全量和少样本设置下验证在真实数据集上的性能。

提出的方法

• 构建一个两分支输入嵌入：用于时间模式的基于 CNN 的序列嵌入，以及用于空间结构的基于 GCN 的图嵌入。
• 融合嵌入并通过线性层和标准化映射到 LLM 的嵌入维度，得到 Emb(X)。
• 在每个 Transformer 块中使用低秩自适应（LoRA）对预训练的 Transformer 基 LLM 进行微调，以实现参数高效学习。
• 使用线性层将 LLM 输出映射到预测时长 T′，并应用 ReLU 激活以产生预测结果。
• 使用鲁棒的 MAE 损失进行训练，以应对传感器数据中的异常值。

实验结果

研究问题

• RQ1 在具备序列和图嵌入的情况下，预训练的 LLM 能否在历史数据有限的情况下实现准确的交通预测？
• RQ2 在全样本和少样本设置下，基于 LoRA 的微调相比完整微调和传统基线在交通预测方面有何表现？
• RQ3 在改变 LoRA 积权(rank)对预测准确性和效率有何影响？
• RQ4 时空嵌入是否能够有效实现从 LLM 到交通数据的跨模态知识迁移？

主要发现

• TPLLM 在 PeMS04 和 PeMS08 上的全样本和少样本设置均优于 LSTM 及其他 ST-GCN 基线。
• 在全样本预测中，TPLLM 在 15 分钟、30 分钟和 60 分钟的预测区间上，获得两份数据集的最佳 MAE、RMSE 和 MAPE。
• 在少样本预测中，TPLLM 保持鲁棒性，退化幅度小于基线，展示了从预训练 LLM 的有效少样本学习。
• LoRA 使约 0.95% 的参数可训练，达到具有竞争力的性能，同时降低了计算成本。
• 可视化结果显示 TPLLM 能在两个数据集中捕捉典型的交通模式（工作日高峰和周末日的平滑走势）。