[论文解读] Transformer-based Map Matching Model with Limited Ground-Truth Data using Transfer-Learning Approach

Zhixiong Jin, Kim, Jiwon+2 more|arXiv (Cornell University)|Aug 1, 2021

Traffic Prediction and Management Techniques参考文献 20被引用 4

一句话总结

本文提出了一种基于Transformer的轨迹匹配模型，利用迁移学习克服数据稀缺问题，通过在合成生成的轨迹上进行预训练，并使用有限的真实地面真值数据进行微调。该模型在江南出租车数据集上实现了最先进性能，优于基于规则和深度学习的基线模型，注意力分析揭示了有意义的内部和外部数据相关性。

ABSTRACT

In many spatial trajectory-based applications, it is necessary to map raw trajectory data points onto road networks in digital maps, which is commonly referred to as a map-matching process. While most previous map-matching methods have focused on using rule-based algorithms to deal with the map-matching problems, in this paper, we consider the map-matching task from the data-driven perspective, proposing a deep learning-based map-matching model. We build a Transformer-based map-matching model with a transfer learning approach. We generate trajectory data to pre-train the Transformer model and then fine-tune the model with a limited number of ground-truth data to minimize the model development cost and reduce the real-to-virtual gap. Three metrics (Average Hamming Distance, F-score, and BLEU) at two levels (point and segment level) are used to evaluate the model performance. The results indicate that the proposed model outperforms existing models. Furthermore, we use the attention weights of the Transformer to plot the map-matching process and find how the model matches the road segments correctly.

研究动机与目标

• 解决训练高性能轨迹匹配模型时真实世界地面真值轨迹数据有限的挑战。
• 通过利用大规模历史轨迹数据中的集体出行模式和噪声特征，提升轨迹匹配的准确性。
• 开发一种数据驱动的深度学习方法，捕捉GPS轨迹中复杂的时空相关性，克服基于规则和独立轨迹处理方法的局限性。
• 通过从合成数据到真实数据的有效迁移学习，减少轨迹匹配任务中真实与虚拟性能之间的差距。
• 通过注意力机制分析提供模型决策的可解释性，揭示GPS点之间的内部相关性以及输入轨迹与匹配道路段之间的外部关系。

提出的方法

• 在基于道路网络拓扑结构生成的大规模合成GPS轨迹上预训练一个基于Transformer的轨迹匹配模型。
• 使用少量真实地面真值轨迹数据集对预训练模型进行微调，以最小化领域偏移并提升真实世界表现。
• 采用序列到序列架构与多头自注意力机制，建模GPS点之间的长距离依赖关系和上下文关联。
• 通过基于道路网络的轨迹生成进行数据增强，以模拟真实的出行模式和噪声特征。
• 应用迁移学习，将合成数据（预训练）中的知识迁移到真实数据（微调）中，降低对昂贵真实标注的依赖。
• 使用点级和段级指标评估模型性能：平均汉明距离（AHD）、F-score和BLEU，确保对匹配准确性的全面评估。

实验结果

研究问题

• RQ1 基于Transformer的模型在合成轨迹上预训练并在有限真实地面真值数据上微调后，是否能优于现有的基于规则和深度学习的模型？
• RQ2 Transformer模型中的注意力机制如何揭示GPS点之间的内部相关性以及输入轨迹与匹配道路段之间的外部关系？
• RQ3 从合成数据到真实数据的迁移学习在多大程度上减少了轨迹匹配任务中真实与虚拟性能之间的差距？
• RQ4 用于预训练的不同数据生成策略对微调后最终模型性能有何影响？
• RQ5 尽管真实地面真值数据有限，该模型是否能在真实城市环境中良好泛化？与基线模型相比，其准确性和鲁棒性如何？

主要发现

• 在预训练阶段，预训练的Transformer模型优于基于规则的模型（FMM和ST-matching），证明了合成数据在初始表征学习中的有效性。
• 微调后的Transformer模型在三个数据集上均实现了最先进性能，所有评估指标均优于基于LSTM的seq2seq和注意力机制seq2seq基线模型。
• 微调显著缩小了真实与虚拟性能之间的差距：在性能较好的预训练模型中，微调对实现真实匹配至关重要；在性能较弱的模型中，微调主要提升了性能。
• 对于一条具有代表性的噪声轨迹，微调后的模型正确地将前两个GPS点匹配到其对应的道路段，展示了更强的鲁棒性。
• 注意力分析揭示了目标GPS点与当前及相邻道路段上点之间的强相关性，证实了模型捕捉空间上下文的能力。
• 模型表明，邻近路段上的点也对匹配决策有贡献，表明其有效建模了超越当前路段的空间关系。