[论文解读] Spatio-Temporal Graph Contrastive Learning

Xu Liu, Yuxuan Liang+3 more|arXiv (Cornell University)|Aug 26, 2021

Human Mobility and Location-Based Analysis参考文献 27被引用 7

一句话总结

本文提出 STGCL，一种新颖的时空图对比学习框架，通过将预测损失与辅助对比损失相结合，提升深度学习模型在时空图（STG）预测中的性能。该方法引入四种面向特定领域的数据增强策略及一种基于规则的负样本过滤策略，在无需预训练的情况下，于多个数据集和模型上均实现一致的性能提升。

ABSTRACT

Deep learning models are modern tools for spatio-temporal graph (STG) forecasting. Despite their effectiveness, they require large-scale datasets to achieve better performance and are vulnerable to noise perturbation. To alleviate these limitations, an intuitive idea is to use the popular data augmentation and contrastive learning techniques. However, existing graph contrastive learning methods cannot be directly applied to STG forecasting due to three reasons. First, we empirically discover that the forecasting task is unable to benefit from the pretrained representations derived from contrastive learning. Second, data augmentations that are used for defeating noise are less explored for STG data. Third, the semantic similarity of samples has been overlooked. In this paper, we propose a Spatio-Temporal Graph Contrastive Learning framework (STGCL) to tackle these issues. Specifically, we improve the performance by integrating the forecasting loss with an auxiliary contrastive loss rather than using a pretrained paradigm. We elaborate on four types of data augmentations, which disturb data in terms of graph structure, time domain, and frequency domain. We also extend the classic contrastive loss through a rule-based strategy that filters out the most semantically similar negatives. Our framework is evaluated across three real-world datasets and four state-of-the-art models. The consistent improvements demonstrate that STGCL can be used as an off-the-shelf plug-in for existing deep models.

研究动机与目标

• 解决现有图对比学习方法在时空图（STG）预测中的局限性，即预训练表征无法提升下游任务性能。
• 克服缺乏针对 STG 数据有效数据增强策略的问题，特别是针对噪声鲁棒性与结构保持能力。
• 通过过滤掉最语义相似的负样本，将语义相似性引入对比学习，以提升表征质量。
• 开发一种即插即用的框架，可在不依赖预训练或架构修改的前提下，增强现有深度 STG 模型。

提出的方法

• 在训练过程中同时整合预测损失与辅助对比损失，避免需要单独的预训练阶段。
• 设计四种类型的数据增强：图结构扰动、时间偏移、频域掩码与特征噪声注入。
• 提出一种基于规则的负样本过滤机制，排除最语义相似的负样本，以提升对比学习信号质量。
• 在空间与时间图结构上同时应用对比损失，以保留数据中的局部与全局依赖关系。
• 通过联合优化预测与对比目标，实现端到端训练。
• 通过将 STGCL 设计为模块化、即用型组件，确保其与现有 STG 模型的兼容性。

实验结果

研究问题

• RQ1 当对比学习直接集成于训练过程而非采用预训练范式时，是否能提升 STG 预测性能？
• RQ2 不同类型的增强策略——尤其是针对图结构、时间与频域的增强——如何影响 STG 预测中的表征学习？
• RQ3 过滤掉最语义相似的负样本是否能提升 STG 数据中对比表征的质量？
• RQ4 STGCL 在多样化的数据集与现有深度学习模型中的泛化能力如何？

主要发现

• STGCL 在三个真实世界数据集上的四个最先进 STG 预测模型中均实现一致的性能提升，证明其具备强大的泛化能力。
• 将对比学习与预测损失结合，可在无需预训练的情况下实现显著的性能增益。
• 所提出的基于规则的负样本过滤策略通过降低将相似样本映射至同一嵌入空间的风险，有效提升了表征质量。
• 四种面向特定领域的数据增强（图、时间、频域与特征噪声）在噪声环境下提升了模型的鲁棒性与泛化能力。
• 该框架在不同数据集上均实现一致的性能提升，表明其具备出色的可迁移性与作为插件模块的实际应用价值。
• 实证结果表明，仅通过标准对比学习获得的表征无法使预测任务受益，从而验证了 STGCL 中联合优化的必要性。