[论文解读] Scaling Graph-based Deep Learning models to larger networks

Miquel Ferriol-Galmés, José Suárez‐Varela+3 more|arXiv (Cornell University)|Oct 4, 2021

Advanced Graph Neural Networks参考文献 17被引用 5

一句话总结

该论文提出了一种基于图神经网络（GNN）的新模型，用于网络性能建模，通过利用领域特定的消息传递设计和尺度不变学习，能够准确泛化到更大、未见过的网络（最多300个节点）。在接近训练范围的拓扑（50–99个节点）上，该模型的平均绝对相对误差为4.5%，在更大网络上稳定在约10%左右，推理时间低于100ms，支持在网络管理中实现实时部署。

ABSTRACT

Graph Neural Networks (GNN) have shown a strong potential to be integrated into commercial products for network control and management. Early works using GNN have demonstrated an unprecedented capability to learn from different network characteristics that are fundamentally represented as graphs, such as the topology, the routing configuration, or the traffic that flows along a series of nodes in the network. In contrast to previous solutions based on Machine Learning (ML), GNN enables to produce accurate predictions even in other networks unseen during the training phase. Nowadays, GNN is a hot topic in the Machine Learning field and, as such, we are witnessing great efforts to leverage its potential in many different fields (e.g., chemistry, physics, social networks). In this context, the Graph Neural Networking challenge 2021 brings a practical limitation of existing GNN-based solutions for networking: the lack of generalization to larger networks. This paper approaches the scalability problem by presenting a GNN-based solution that can effectively scale to larger networks including higher link capacities and aggregated traffic on links.

研究动机与目标

• 解决现有基于GNN的网络模型在更大、未见过的拓扑结构上泛化能力不足的问题。
• 设计一种GNN架构，以在多种网络配置下准确预测QoS指标（例如，延迟、抖动）。
• 实现端到端训练的GNN模型，支持复杂的队列策略和路由方案。
• 实现低延迟推理，适用于实时网络控制和管理。
• 通过引入领域特定的结构归纳偏置，克服先前GNN在网络领域中的可扩展性限制。

提出的方法

• 该模型采用三阶段消息传递机制：转发、队列和链路处理，每个阶段均配备专用的循环单元（GRUs）以实现状态演化。
• 通过独立的隐藏状态（h_f, h_q, h_l）显式建模网络元素（转发设备、队列、链路），并在T=8次迭代中进行迭代式消息传递。
• 将异构特征（如流量矩阵、路由配置和队列策略，例如WFQ、DRP）整合到图输入中。
• 对FRNN、LRNN和U_q使用门控循环单元（GRUs），对读出函数R_f和R_q使用两层ReLU激活的全连接网络。
• 整个架构端到端可微，使用Adam优化器在200个周期内进行训练，损失函数为均方误差（MSE）。
• 采用一种与尺度无关的方法，利用队列占用率作为延迟的代理，实现对不同规模拓扑的延迟估计泛化。

实验结果

研究问题

• RQ1 在小规模网络（25–50个节点）上训练的基于GNN的模型，是否能在无需微调的情况下，准确泛化到更大规模的网络（最多300个节点）？
• RQ2 随着网络规模增大，尤其是超出训练分布范围时，模型性能如何变化？
• RQ3 该模型在不同队列策略和网络配置下的泛化能力有多强？
• RQ4 该模型的推理延迟是多少？是否能够支持实时网络控制应用？
• RQ5 所提出的消息传递设计在捕捉复杂网络动态（如流量转发和队列行为）方面的有效性如何？

主要发现

• 该模型在规模达300个节点的拓扑上实现了有效泛化，在50–99个节点的网络上平均绝对相对误差为4.5%。
• 对于更大规模的拓扑（100–300个节点），误差稳定在约10%，表现出强大的可扩展性。
• 模型在整个200个训练周期中保持稳定的训练损失，表明收敛可靠。
• 推理时间从小型拓扑（10–30个节点）的48ms到大型拓扑（51–70个节点）的100ms不等，适合实时部署。
• 该模型支持多种队列策略（如WFQ、DRP），不仅限于挑战中使用的FIFO策略，显著提升了实际适用性。
• 通过使用领域特定的消息传递机制和基于队列的延迟估计，实现了对未见过网络规模的尺度不变泛化。