[论文解读] Towards Open Temporal Graph Neural Networks

Kaituo Feng, Changsheng Li+2 more|arXiv (Cornell University)|Mar 27, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 OTGNet，一种新颖的开放时序图神经网络类增量学习框架，解决了异配性传播与灾难性遗忘问题。通过将节点表征解耦为与类别无关和与类别相关两部分，并采用基于信息瓶颈的消息传递机制，OTGNet 避免了不同类别间冲突的特征聚合。此外，它选择多样且重要的三元组子图用于回放，在 Reddit、Yelp 和 Taobao 数据集上实现了最先进性能，准确率显著提升且遗忘程度降低。

ABSTRACT

Graph neural networks (GNNs) for temporal graphs have recently attracted increasing attentions, where a common assumption is that the class set for nodes is closed. However, in real-world scenarios, it often faces the open set problem with the dynamically increased class set as the time passes by. This will bring two big challenges to the existing dynamic GNN methods: (i) How to dynamically propagate appropriate information in an open temporal graph, where new class nodes are often linked to old class nodes. This case will lead to a sharp contradiction. This is because typical GNNs are prone to make the embeddings of connected nodes become similar, while we expect the embeddings of these two interactive nodes to be distinguishable since they belong to different classes. (ii) How to avoid catastrophic knowledge forgetting over old classes when learning new classes occurred in temporal graphs. In this paper, we propose a general and principled learning approach for open temporal graphs, called OTGNet, with the goal of addressing the above two challenges. We assume the knowledge of a node can be disentangled into class-relevant and class-agnostic one, and thus explore a new message passing mechanism by extending the information bottleneck principle to only propagate class-agnostic knowledge between nodes of different classes, avoiding aggregating conflictive information. Moreover, we devise a strategy to select both important and diverse triad sub-graph structures for effective class-incremental learning. Extensive experiments on three real-world datasets of different domains demonstrate the superiority of our method, compared to the baselines.

研究动机与目标

• 解决时序图神经网络中的开放集问题，即新类别随时间动态出现。
• 解决异配性传播问题，即标准 GNN 会将不同类别间相连的节点推向相似嵌入。
• 缓解在演化时序图上持续学习过程中的灾难性遗忘。
• 设计一种原则化的消息传递机制，仅在不同类别节点之间传递与类别无关的知识。
• 设计一种有效且理论基础坚实的代表性三元组子图选择方法，用于知识回放。

提出的方法

• 提出一种解耦的节点表征学习框架，将类别相关与类别无关特征分离。
• 引入基于信息瓶颈的消息传递机制，仅选择性地在不同类别节点之间传递与类别无关的知识。
• 设计一个价值函数，用于识别在持续学习中既重要又多样的三元组子图。
• 开发一种具有理论下界保证的贪心近似算法，以高效选择三元组。
• 将所选三元组整合到训练过程中，作为经验回放的一种形式，以防止旧类别知识的遗忘。
• 采用类增量学习策略，在新类别到达时增量更新模型，无需对全部历史数据重新训练。

实验结果

研究问题

• RQ1 如何设计一种消息传递机制，以避免在开放时序图中不同类别节点之间产生冲突的特征聚合？
• RQ2 何种标准可有效识别出能同时保留结构多样性和重要性的代表性三元组子图？
• RQ3 解耦表征学习与选择性三元组回放的结合是否能显著减少时序图学习中的灾难性遗忘？
• RQ4 在真实世界时序图数据集上，所提方法与现有增量学习基线相比，在准确率和遗忘率方面表现如何？
• RQ5 所提三元组选择算法的计算效率如何？其在图规模增大时的可扩展性如何？

主要发现

• OTGNet 在三个数据集上的平均精度（AP）均达到最高：Reddit 上为 73.88，Yelp 上为 83.78，Taobao 上为 79.92，全面优于所有基线方法。
• 在 Reddit 数据集上，OTGNet 在最终任务上达到 95.97 的 AP，显著优于第二名方法（TGN+BiC 的 80.15 AP）。
• OTGNet 将 Taobao 上的平均遗忘（AF）降低至 12.82，Yelp 上降低至 4.98，表现出强任务间稳定性。
• t-SNE 可视化显示，与 OTGNet-w.o.-IB 相比，OTGNet 学习到的节点嵌入更具判别性，尤其在新类别引入后更为明显。
• OTGNet 的运行时间（Reddit 上为 6.78 小时）与增量基线方法（5.05–6.23 小时）相当，但显著低于重新训练方法（10–35 小时）。
• 所提三元组选择算法实现了理论近似比下界，确保所选子图在多样性与重要性之间取得平衡。