[论文解读] REPETITA: Repeatable Experiments for Performance Evaluation of Traffic-Engineering Algorithms

Steven Gay, Pierre Schaus+1 more|arXiv (Cornell University)|Oct 24, 2017

Software-Defined Networks and 5G参考文献 15被引用 44

一句话总结

REPETITA 是一个软件框架，通过提供包含 250 多个真实网络拓扑及其流量矩阵的标准化数据集，以及最先进的流量工程（TE）算法（IGP 权重调优和分段路由）的实现，实现了 TE 算法的可重复、可复现评估。它自动化了实验设置与比较，使研究人员能够复现已发表的结果，并使用一致的指标（如链路利用率和链路故障下的鲁棒性）进行新的分析。

ABSTRACT

In this paper, we propose a pragmatic approach to improve reproducibility of experimental analyses of traffic engineering (TE) algorithms, whose implementation, evaluation and comparison are currently hard to replicate. Our envisioned goal is to enable universally-checkable experiments of existing and future TE algorithms. We describe the design and implementation of REPETITA, a software framework that implements common TE functions, automates experimental setup, and eases comparisons (in terms of solution quality, execution time, etc.) of TE algorithms. In its current version, REPETITA includes (i) a dataset for repeatable experiments, consisting of more than 250 real network topologies with complete bandwidth and delay information as well as associated traffic matrices; and (ii) the implementation of state-of-the-art algorithms for intra-domain TE with IGP weight tweaking and Segment Routing optimization. We showcase how our framework can successfully reproduce results described in the literature, and ease new analyses of qualitatively-diverse TE algorithms. We publicly release our REPETITA implementation, hoping that the community will consider it as a demonstration of feasibility, an incentive and an initial code basis for improving experiment reproducibility: Its plugin-oriented architecture indeed makes REPETITA easy to extend with new datasets, algorithms, TE primitives and analyses. We therefore invite the research community to use and contribute to our released code and dataset.

研究动机与目标

• 解决网络研究中，特别是流量工程（TE）算法评估缺乏可复现性的问题。
• 克服专有数据、代码未公开以及实验环境难以复现等障碍。
• 提供一个社区驱动、可扩展的框架，支持使用真实或现实网络数据进行可重复实验。
• 通过标准化数据集、评估流程和指标，促进 TE 算法之间的公平比较。
• 通过支持第三方验证结果并共享可重用的基准，提升科研严谨性，激发新研究。

提出的方法

• 设计并实现一个插件式软件框架，以支持新算法、原原子和数据集的可扩展性。
• 收集超过 250 个真实世界网络拓扑的数据集，包含完整的带宽、延迟和流量矩阵信息。
• 实现核心 TE 功能，包括最短路径计算、流量到路径的映射，以及 IGP 权重优化。
• 集成最先进的 TE 算法：基于 MILP 的拥塞最小化、DEFO（差分进化）和分段路由（SR）优化。
• 通过命令行接口自动化实验工作流，支持在所有拓扑和流量矩阵上一键执行。
• 定义标准化分析，包括解决方案质量（如最大链路利用率）、执行时间，以及单链路故障下的鲁棒性。

实验结果

研究问题

• RQ1 标准化的、公开可用的框架在多大程度上能提升 TE 算法评估的可重复性和公平性？
• RQ2 不同 TE 算法（例如 IGP 权重优化与分段路由）在拥塞避免和链路故障下的鲁棒性方面有何差异？
• RQ3 相同的 TE 原原子（例如 SR）是否可能因所使用的优化算法不同而表现出显著不同的性能？
• RQ4 当前 TE 算法在链路高负载情况下，维持低拥塞的能力有多强？
• RQ5 在多样化网络拓扑中，IGP 权重调优与分段路由在表达能力和性能方面的相对优势是什么？

主要发现

• REPETITA 能够成功复现先前文献中的结果，验证了其在实验评估中准确性与一致性的可靠性。
• 在鲁棒性分析中，DEFO 解决方案在 17,144 次模拟的单链路故障中有 9,489 次导致拥塞，而 MILP 解决方案在 11,174 次中失败，表明其鲁棒性更差。
• REPETITA 计算出的理论下限仅在 3,289 次情况下避免了拥塞，表明当前算法仍远未达到最优鲁棒性。
• 在 25% 的拓扑中，分段路由（SR）的拥塞性能显著优于 IGP 权重优化，而在 57% 的情况下两者差异在 1% 以内。
• 在约 7% 的配置中，IGP 权重优化优于 SR，这引发了关于 SR 在特定网络配置中实际优势的疑问。
• REPETITA 支持新的对比分析，例如系统性评估链路利用率与故障恢复能力之间的算法权衡，这些在原始研究中尚未被充分探索。