[论文解读] Structural Re-weighting Improves Graph Domain Adaptation

Shikun Liu, Tianchun Li+5 more|arXiv (Cornell University)|Jun 5, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出结构重加权（StruRW），一种新颖的图域自适应方法，通过基于目标域伪标签重加权源图边，缓解分布偏移下的节点分类问题。通过动态调整邻域聚合以减轻条件结构偏移（即图拓扑在不同域间发生变化），StruRW 在大规模结构偏移下实现显著性能提升，尤其在合成数据集、基准数据集和高能物理数据集上优于当前最先进基线方法。

ABSTRACT

In many real-world applications, graph-structured data used for training and testing have differences in distribution, such as in high energy physics (HEP) where simulation data used for training may not match real experiments. Graph domain adaptation (GDA) is a method used to address these differences. However, current GDA primarily works by aligning the distributions of node representations output by a single graph neural network encoder shared across the training and testing domains, which may often yield sub-optimal solutions. This work examines different impacts of distribution shifts caused by either graph structure or node attributes and identifies a new type of shift, named conditional structure shift (CSS), which current GDA approaches are provably sub-optimal to deal with. A novel approach, called structural reweighting (StruRW), is proposed to address this issue and is tested on synthetic graphs, four benchmark datasets, and a new application in HEP. StruRW has shown significant performance improvement over the baselines in the settings with large graph structure shifts, and reasonable performance improvement when node attribute shift dominates.

研究动机与目标

• 为解决图结构化数据中的分布偏移挑战，特别是在模拟与真实数据存在差异的高能物理等现实应用中。
• 识别并形式化一种新型分布偏移——条件结构偏移（CSS），现有图域自适应（GDA）方法难以有效处理。
• 提出一种方法，通过基于目标域邻域统计信息自适应重加权源图中的消息传递，减少 CSS。
• 在多种场景下（包括合成图、标准基准和真实世界 HEP 应用）证明结构重加权的有效性。

提出的方法

• StruRW 使用目标图中伪标签节点计算节点类别之间的边概率，以估计邻域结构。
• 基于类别构建的边概率用于重加权源图中的消息传递过程，调整邻居对节点表示的贡献。
• 重加权在 GNN 训练过程中应用，使源域消息传递更贴近目标域拓扑，从而减轻条件结构偏移。
• 该方法可与标准 GNN 集成，并可结合多种训练目标，如 ERM 或域对抗训练。
• 超参数包括重加权开始训练轮次、权重计算的时间窗口，以及控制重加权消息影响的缩放因子 λ。
• 该方法设计为兼容多图设置，尽管在该设置下平均过重计算可能限制性能。

Figure 1: Examples of pileup events in two different PU levels: PU30 (Left) and PU10 (Right). Charged particles can be labeled as LC or OC, as highlighted by red or blue dots, while the labels of neutral particles are often unknown. Graph methods are often used here (Bertolini et al., 2014 ; Li et a

实验结果

研究问题

• RQ1 不同类型的分布偏移（尤其是结构偏移与属性偏移）如何影响图域自适应性能？
• RQ2 是否可以通过单一共享 GNN 编码器配合最后一层表示对齐，充分处理图结构化数据中的分布偏移？
• RQ3 当邻域模式在不同域间发生变化时，条件结构偏移（CSS）对 GNN 泛化能力有何影响？
• RQ4 基于目标域伪标签重加权源图边，能否有效缓解 CSS 并提升域自适应性能？
• RQ5 StruRW 在不同结构偏移程度下表现如何，特别是在高能物理等现实应用中？

主要发现

• 在结构偏移较大的设置下，StruRW 相较于最先进基线方法实现显著性能提升，尤其在条件结构偏移（CSS）得分较高的数据集上。
• 在 ACM→DBLP 和 DBLP→ACM 数据集上，StruRW-ERM 与 StruRW-Mix 表现一致提升，StruRW-Adv 在大偏移下更有效但稳定性较低。
• 在 HEP 应用中，从高 PU 水平向低 PU 水平迁移时，基于 StruRW 的模型优于 ERM 和 DANN 基线；反向迁移时性能提升微弱。
• 在 CSS 值更高的数据集（如 Cora 和 Arxiv）上，StruRW 展现更强性能增益，证实了 CSS 与性能提升之间的关联。
• 超参数分析表明，当原始 CSS 较大时，增大 λ 可提升性能，支持了根据偏移严重程度动态缩放重加权的设计选择。
• 尽管 HEP 任务为二分类且多图训练复杂，StruRW 仍带来可测量的性能增益，表明其对某些现实约束具有鲁棒性。

Figure 2: This diagram demonstrates the model pipeline by combining the StruRW module, GNN encoder, then the generalized loss calculation block that supports StruRW-Adv, StruRW-Mix, and StruRW-ERM. The pseudo codes are presented in Algorithm 1 .