[论文解读] The Graph Neural Networking Challenge: A Worldwide Competition for Education in AI/ML for Networks

José Suárez‐Varela, Miquel Ferriol-Galmés+22 more|arXiv (Cornell University)|Jul 26, 2021

Advanced Memory and Neural Computing参考文献 25被引用 6

一句话总结

本文介绍了2020年图神经网络网络挑战赛，该赛事是在国际电联（ITU）人工智能/机器学习在5G中挑战赛框架下组织的全球性竞赛，旨在推动计算机网络中机器学习的教育与研究。该竞赛提出了一项任务：基于模拟的网络快照，使用图神经网络预测每条路径的平均延迟，最终形成了一套精心整理的教育资源，并涌现出多种高性能、泛化能力强的解决方案。竞赛吸引了来自60多个国家的1300多名参与者。

ABSTRACT

During the last decade, Machine Learning (ML) has increasingly become a hot topic in the field of Computer Networks and is expected to be gradually adopted for a plethora of control, monitoring and management tasks in real-world deployments. This poses the need to count on new generations of students, researchers and practitioners with a solid background in ML applied to networks. During 2020, the International Telecommunication Union (ITU) has organized the "ITU AI/ML in 5G challenge'', an open global competition that has introduced to a broad audience some of the current main challenges in ML for networks. This large-scale initiative has gathered 23 different challenges proposed by network operators, equipment manufacturers and academia, and has attracted a total of 1300+ participants from 60+ countries. This paper narrates our experience organizing one of the proposed challenges: the "Graph Neural Networking Challenge 2020''. We describe the problem presented to participants, the tools and resources provided, some organization aspects and participation statistics, an outline of the top-3 awarded solutions, and a summary with some lessons learned during all this journey. As a result, this challenge leaves a curated set of educational resources openly available to anyone interested in the topic.

研究动机与目标

• 通过创建一个可访问、大规模的竞赛，应对在计算机网络中应用人工智能/机器学习技术的教育与培训日益增长的需求。
• 为学生、研究人员和从业者提供一个实践平台，将图神经网络（GNNs）应用于真实世界的网络性能建模挑战。
• 建立一个基准数据集和评估框架，用于网络中的机器学习研究，克服公开网络数据集有限的障碍。
• 通过鼓励参赛者采用多样化的网络架构与超参数配置，推动机器学习解决方案的创新与多样性。
• 为未来在人工智能/机器学习用于网络领域的研究与教学中，生成可重复使用、开放的教育资源集合。

提出的方法

• 参赛者需基于静态网络快照（拓扑、流量矩阵、路由）使用图神经网络预测网络拓扑中每条路径的平均延迟。
• 提供了包含10,000个模拟网络实例的公开数据集，其中8,000个用于训练，2,000个用于测试，所有数据均基于统计流量模型生成。
• 实现并发布了基线GNN模型的开源代码，包含数据访问API及教程，以加速参赛者上手机制。
• 竞赛采用两阶段评估：首先在测试数据上自动打分，随后对前五名解决方案进行人工审核，以确保符合规则（禁止使用仿真，仅允许在提供数据上训练）。
• 部署了实时排行榜，以在最终阶段持续激励参与并促进竞争性迭代。
• 最终评估采用标准化、可复现的设置，以确保模型比较的公平性与透明度。

实验结果

研究问题

• RQ1 图神经网络在从静态网络快照中预测网络性能指标（如每条路径的平均延迟）方面效果如何？
• RQ2 在进行网络性能建模任务时，图神经网络最有效的网络架构与超参数配置是什么？
• RQ3 大规模、开放的竞赛如何有效促进学生与从业者在人工智能/机器学习用于网络领域的教育与培训？
• RQ4 精心整理的数据集、开发工具与实时反馈在维持参赛者参与度与提升解决方案质量方面发挥什么作用？
• RQ5 竞赛设计如何能超越标准神经网络架构，进一步鼓励机器学习方法的多样性与创新？

主要发现

• 该挑战吸引了来自60多个国家的1,300多名参赛者，显示出全球对人工智能/机器学习在网络安全教育方面高度关注。
• 前三名解决方案尽管采用截然不同的方法（如架构修改、特征工程、超参数调优），但性能分数极为接近。
• 实时排行榜显著提升了参赛者的参与度，尤其是在最后阶段，表明反馈回路在竞争性学习中的重要性。
• 对前五名解决方案的人工审核是必要的，以确保符合规则，这凸显了未来需要更可扩展的验证机制，如沙盒执行环境。
• 使用基于统计流量模型的模拟数据，实现了大规模、可复现的基准测试，但作者建议未来挑战应使用真实世界测试平台数据以提升现实感。
• 竞赛成功生成了一套精心整理、开放的教育资源集合，包括代码、教程与数据集，可供未来研究与教学中重复使用。