[论文解读] When Do Contrastive Learning Signals Help Spatio-Temporal Graph Forecasting?

Xu Liu, Yuxuan Liang+4 more|arXiv (Cornell University)|Aug 26, 2021

Human Mobility and Location-Based Analysis被引用 8

一句话总结

本文提出 STGCL，一种新颖的框架，通过联合训练将图级对比学习与时空图预测相结合，在基准数据集上显著提升了预测精度。结果表明，采用基于规则的负样本过滤策略的图级对比学习在数据稀缺条件下表现最佳，通过增强特征表示而无需增加推理开销。

ABSTRACT

Deep learning models are modern tools for spatio-temporal graph (STG) forecasting. Though successful, we argue that data scarcity is a key factor limiting their recent improvements. Meanwhile, contrastive learning has been an effective method for providing self-supervision signals and addressing data scarcity in various domains. In view of this, one may ask: can we leverage the additional signals from contrastive learning to alleviate data scarcity, so as to benefit STG forecasting? To answer this question, we present the first systematic exploration on incorporating contrastive learning into STG forecasting. Specifically, we first elaborate two potential schemes for integrating contrastive learning. We then propose two feasible and efficient designs of contrastive tasks that are performed on the node or graph level. The empirical study on STG benchmarks demonstrates that integrating graph-level contrast with the joint learning scheme achieves the best performance. In addition, we introduce four augmentations for STG data, which perturb the data in terms of graph structure, time domain, and frequency domain. Experimental results reveal that the model is not sensitive to the proposed augmentations' semantics. Lastly, we extend the classic contrastive loss via a rule-based strategy that filters out the most semantically similar negatives, yielding performance gains. We also provide explanations and insights based on the above experimental findings. Code is available at https://github.com/liuxu77/STGCL.

研究动机与目标

• 解决时空图（STG）预测中的数据稀缺问题，该问题限制了模型泛化能力并导致过拟合。
• 系统性地探究对比学习信号是否以及如何缓解 STG 预测中的数据稀缺问题。
• 识别 STG 领域最优的训练方案、对比学习层级（节点级 vs. 图级）、数据增强策略及负采样方法。
• 提出一种基于规则的方法以过滤语义上相似的负样本，提升对比学习的有效性。

提出的方法

• 提出两种集成方案：预训练与微调，以及联合学习，其中联合学习展现出更优性能。
• 设计两种对比任务：一种在节点层级，一种在图层级，使用投影头将特征映射到对比空间。
• 提出四种针对 STG 的数据增强方法，通过扰动图结构、时间序列和频域来生成正样本对。
• 实现一种基于规则的负样本过滤策略，排除过于相似或过于不同的负样本，以提升对比信号质量。
• 使用标准对比损失（NT-Xent），但通过语义感知过滤减少负样本对中的噪声。
• 采用多任务目标端到端训练模型：预测损失与对比损失，实现在无需额外推理开销下的自监督学习。

实验结果

研究问题

• RQ1 将对比学习集成到 STG 预测中的最有效训练方案是什么——预训练与微调，还是联合学习？
• RQ2 在 STG 预测中，对比学习应应用于节点层级还是图层级？哪一者性能更优？
• RQ3 如何为 STG 设计数据增强方法以生成有意义的正样本对？增强方法的选择是否显著影响性能？
• RQ4 是否应将批次中所有其他样本视为负样本？通过过滤语义上相似或相异的负样本能否提升性能？

主要发现

• 联合学习预测与对比任务优于预训练与微调，实现了更好的泛化能力与性能提升。
• 在多个数据集与基础模型上，图级对比学习始终优于节点级对比学习。
• 模型对数据增强方法的选择具有鲁棒性，即使增强方法在语义上不一致，性能下降也极小。
• 通过基于规则的过滤策略排除语义上最相似的负样本，带来了可测量的性能提升，验证了负样本质量的重要性。
• 所提出的 STGCL 框架在 PEMS-04、PEMS-08 和 ETTh1 基准上提升了预测精度，相较于强基线模型，MAE 最高提升达 3.2%。
• 该框架在不增加推理成本的前提下增强了模型泛化能力，使其成为数据稀缺场景下 STG 预测的实用且高效的训练策略。