[论文解读] TrAISformer -- A Transformer Network with Sparse Augmented Data Representation and Cross Entropy Loss for AIS-based Vessel Trajectory Prediction

Duong Nguyen, Ronan Fablet|arXiv (Cornell University)|Sep 8, 2021

Maritime Navigation and Safety被引用 8

一句话总结

TrAISformer 提出了一种基于 Transformer 的新型模型，采用稀疏增强的数据表示方法和自定义的交叉熵损失函数，通过在离散的高维空间中进行长期时间建模，有效捕捉多模态和异构的船舶运动模式，从而提升基于 AIS 数据的中程船舶轨迹预测性能。该模型在约 10 小时内实现了平均误差低于 10 海里的预测效果，优于当前最先进方法。

ABSTRACT

Vessel trajectory prediction plays a pivotal role in numerous maritime applications and services. While the Automatic Identification System (AIS) offers a rich source of information to address this task, forecasting vessel trajectory using AIS data remains challenging, even for modern machine learning techniques, because of the inherent heterogeneous and multimodal nature of motion data. In this paper, we propose a novel approach to tackle these challenges. We introduce a discrete, high-dimensional representation of AIS data and a new loss function designed to explicitly address heterogeneity and multimodality. The proposed model-referred to as TrAISformer-is a modified transformer network that extracts long-term temporal patterns in AIS vessel trajectories in the proposed enriched space to forecast the positions of vessels several hours ahead. We report experimental results on real, publicly available AIS data. TrAISformer significantly outperforms state-of-the-art methods, with an average prediction performance below 10 nautical miles up to ~10 hours.

研究动机与目标

• 为解决利用 AIS 数据在中程时间范围（30 分钟至数十小时）内预测船舶轨迹的挑战，该挑战因多模态和异构的运动模式而难以应对。
• 克服现有深度学习模型在捕捉长期依赖关系以及处理开放海域中船舶运动多模态行为方面的局限性。
• 开发一种表示学习方法，以捕捉复杂且大规模的运动模式，例如在航路点处的航线选择，此时船舶会分道进入不同的海上航线。
• 设计一种损失函数，明确考虑船舶轨迹的多模态特性，从而在模糊的决策点提升预测准确性。
• 证明仅通过历史轨迹建模代理意图即可实现中程预测，因此对交互行为的建模在计算上不可行且非必要。

提出的方法

• 该模型使用 AIS 数据的离散高维表示，将船舶轨迹编码到一个稀疏且信息丰富的空间中，以捕捉多模态运动模式。
• 采用改进的 Transformer 架构，从历史 AIS 序列中提取长期时间依赖关系，从而实现对复杂长距离运动模式的建模。
• 提出一种新型基于交叉熵的损失函数，以显式处理船舶轨迹的多模态分布，特别是在航路点交汇处。
• 模型仅基于代理自身的过去轨迹（$\boldsymbol{x}^{s^i}_{0:T}$）进行条件预测，省略实时邻近船舶交互信息（$\boldsymbol{V}^i_t$），依据的洞察是：在中程时间范围内，此类交互影响可忽略不计。
• 稀疏数据表示通过将原始异构的 AIS 特征（位置、SOG、COG、MMSI）转换为结构化、高维的离散空间，提升了模型的泛化能力。
• 该架构在真实公开的 AIS 数据上进行端到端训练，用于预测未来 $L$ 个时间步内的船舶位置，其中 $L$ 可扩展至约 10 小时。

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能通过 AIS 数据的离散高维表示，有效捕捉船舶轨迹中的长期时间依赖关系？
• RQ2 自定义的交叉熵损失函数在存在多模态船舶运动模式（特别是在航线决策点）的情况下，如何提升预测性能？
• RQ3 在中程船舶轨迹预测中，多大程度上可以省略与附近船舶的交互建模而不降低性能？
• RQ4 与原始特征输入相比，AIS 数据的稀疏增强是否能提升泛化能力和预测准确性，特别是在长时程预测中？
• RQ5 所提出的方法是否能在真实世界 AIS 数据上实现 10 小时内平均预测误差低于 10 海里的效果？

主要发现

• TrAISformer 在真实 AIS 数据上实现了对约 10 小时内未来轨迹的平均预测误差低于 10 海里，显著优于当前最先进方法。
• 该模型在各种船舶运动模式下表现稳健，包括在航路点处复杂的航线选择，此时多模态行为最为显著。
• 采用离散高维表示能够更好地建模异构的 AIS 数据，提升泛化能力和长期模式识别能力。
• 自定义的交叉熵损失函数有效捕捉了多模态轨迹分布，降低了预测出合并的、不现实路径的可能性。
• 该模型表明，对于中程预测而言，与附近船舶的交互建模在计算上不可行且非必要，因为船舶意图主要由其自身历史轨迹决定。
• 消融实验证实，若移除稀疏数据表示或自定义损失函数，性能将出现显著下降，验证了二者在模型成功中的关键作用。