[论文解读] Self-supervised Trajectory Representation Learning with Temporal Regularities and Travel Semantics

Jiawei Jiang, Dayan Pan+4 more|arXiv (Cornell University)|Nov 17, 2022

Data Management and Algorithms被引用 4

一句话总结

本文提出 START，一种自监督轨迹表征学习框架，将时间规律性（周期性交通模式与不规则时间间隔）和出行语义（道路访问频率与类型）整合到轨迹嵌入中。通过结合轨迹模式增强图注意力网络与时间感知轨迹编码器，并采用跨度掩码恢复与对比学习，START 在真实世界数据集上的多个下游任务中实现最先进性能，且在不同城市间具备强大的可迁移性。

ABSTRACT

Trajectory Representation Learning (TRL) is a powerful tool for spatial-temporal data analysis and management. TRL aims to convert complicated raw trajectories into low-dimensional representation vectors, which can be applied to various downstream tasks, such as trajectory classification, clustering, and similarity computation. Existing TRL works usually treat trajectories as ordinary sequence data, while some important spatial-temporal characteristics, such as temporal regularities and travel semantics, are not fully exploited. To fill this gap, we propose a novel Self-supervised trajectory representation learning framework with TemporAl Regularities and Travel semantics, namely START. The proposed method consists of two stages. The first stage is a Trajectory Pattern-Enhanced Graph Attention Network (TPE-GAT), which converts the road network features and travel semantics into representation vectors of road segments. The second stage is a Time-Aware Trajectory Encoder (TAT-Enc), which encodes representation vectors of road segments in the same trajectory as a trajectory representation vector, meanwhile incorporating temporal regularities with the trajectory representation. Moreover, we also design two self-supervised tasks, i.e., span-masked trajectory recovery and trajectory contrastive learning, to introduce spatial-temporal characteristics of trajectories into the training process of our START framework. The effectiveness of the proposed method is verified by extensive experiments on two large-scale real-world datasets for three downstream tasks. The experiments also demonstrate that our method can be transferred across different cities to adapt heterogeneous trajectory datasets.

研究动机与目标

• 解决现有轨迹表征学习（TRL）方法将轨迹视为普通序列的局限，忽略关键的空间-时间特性。
• 将出行语义（如道路访问频率与类型）融入轨迹表征，以提升下游任务性能。
• 建模时间规律性，包括周期性城市交通模式与轨迹采样间不规则时间间隔，以提升表征质量。
• 设计两阶段框架，学习通用且可迁移的轨迹表征，适用于多样化城市与数据集。
• 开发自监督预训练任务，显式利用空间-时间规律性，以在无标注数据下提升表征学习。

提出的方法

• 采用轨迹模式增强图注意力网络（TPE-GAT）将道路网络特征与出行语义编码为道路段表征向量。
• 使用时间感知轨迹编码器（TAT-Enc）聚合道路段表征为统一的轨迹表征向量，同时建模时间规律性。
• 引入跨度掩码轨迹恢复任务，基于上下文与时间模式预测被掩码的道路段，以增强序列建模能力。
• 设计基于时间与空间增强的轨迹对比学习任务，最大化正样本对之间的相似性，最小化负样本对之间的相似性。
• 联合利用预测性（跨度掩码恢复）与对比性自监督学习目标训练框架。
• 采用归一化温度缩放交叉熵（NT-Xent）损失进行对比学习，标准重建损失用于跨度掩码任务。

(c) Time Interval Distribution.

实验结果

研究问题

• RQ1 整合周期性交通模式与不规则时间间隔等时间规律性是否能提升轨迹表征学习？
• RQ2 出行语义（如道路访问频率与类型）在多大程度上有助于生成更具信息量的轨迹嵌入？
• RQ3 两阶段自监督框架能否有效学习适用于异构城市数据集的通用轨迹表征？
• RQ4 所提框架在轨迹分类、聚类与相似性计算等下游任务中与最先进方法相比表现如何？
• RQ5 跨度掩码恢复与对比学习的结合是否能比现有自监督方法更好地捕捉时空规律性？

主要发现

• START 在两个大规模真实世界数据集上的三项下游任务——轨迹分类、聚类与相似性计算——均优于最先进基线方法。
• 由于显式建模时间规律性与出行语义，模型在轨迹聚类与相似性计算任务中取得显著性能提升。
• 该框架展现出强大的零样本迁移能力，在未微调情况下可良好泛化至不同城市，即使轨迹分布存在差异。
• 消融实验确认，两种自监督任务——跨度掩码恢复与对比学习——均对表征质量有显著贡献。
• 与同样考虑时间戳的 Trembr 相比，START 通过显式建模周期性模式与不规则时间间隔，表现更优。
• 在图编码器中整合出行语义（如道路访问频率）可生成更具判别性的道路段表征，从而提升整体性能。

Figure 2: Overall Framework of START.