[论文解读] Optimal Elephant Flow Detection

Ran Ben Basat, Gil Einziger+2 more|arXiv (Cornell University)|Jan 15, 2017

Internet Traffic Analysis and Secure E-voting被引用 9

一句话总结

本文提出了 IM-SUM 和 DIM-SUM，这是首个在空间、更新时间和查询时间方面均达到渐近最优的实时大象流检测算法。通过使用两个哈希表和一个浮点累加器，该算法分别实现了摊销和最坏情况下的 O(1) 更新/查询时间，空间复杂度为 O(1/ε)，在真实数据 trace 上相比先前方法最高可提升 2.5 倍的处理速度。

ABSTRACT

Monitoring the traffic volumes of elephant flows, including the total byte count per flow, is a fundamental capability for online network measurements. We present an asymptotically optimal algorithm for solving this problem in terms of both space and time complexity. This improves on previous approaches, which can only count the number of packets in constant time. We evaluate our work on real packet traces, demonstrating an up to X2.5 speedup compared to the best alternative.

研究动机与目标

• 为基于总字节数的实时大象流监控缺乏高效且最优的解决方案提供解决方法。
• 设计一种支持常数时间更新与查询操作，同时保持渐近最优空间复杂度的数据结构。
• 克服先前算法在数据包大小增大时性能下降或需要非常数时间操作的局限性。
• 为实时网络监控提供摊销和最坏情况下的 O(1) 性能保证。
• 在真实与合成网络 trace 上评估所提算法，证明其在性能上优于现有方法。

提出的方法

• 该算法使用两个哈希表维护流摘要：一个用于活跃流，一个用于非活跃流，并通过一个浮点变量跟踪总流量。
• IM-SUM 使用基于中位数的迭代合并策略维护活跃表，确保 O(1) 摊销更新时间。
• DIM-SUM 通过双线程机制对 IM-SUM 进行去摊销化，以确保 O(1) 最坏情况下的更新时间，但需承担同步开销。
• 该算法利用基于中位数的选择机制，高效识别并维护最重要的流，而无需排序或有序结构。
• 空间复杂度为 O(1/ε)，与 (1±ε)-近似频率估计在带权情况下的信息论下界一致。
• 设计避免将每个字节视为独立更新单位，从而防止在数据包大小 S 较大时导致 O(S) 的更新时间。

实验结果

研究问题

• RQ1 我们能否设计一种支持网络流中加权频率估计的 O(1) 更新与查询时间的数据结构？
• RQ2 是否可能在保持常数时间操作的同时，实现大象流检测的渐近最优空间复杂度 O(1/ε)？
• RQ3 所提算法在不同流量工作负载偏度下的性能如何扩展？
• RQ4 在实时网络监控中，摊销性能与最坏情况性能保证之间的权衡是什么？
• RQ5 在真实网络 trace 上，与 Count Min Sketch、Space Saving 和 Count Sketch 等现有方法相比，所提算法的实际表现如何？

主要发现

• 在真实网络 trace 上，IM-SUM 相较于最佳竞争算法最高可实现 2.5 倍的性能提升，尤其在流量模式具有高偏度时优势明显。
• DIM-SUM 确保 O(1) 最坏情况下的更新时间，使其适用于对确定性性能保证有要求的实时系统。
• 在小 ε 值（高精度）下，IM-SUM 和 DIM-SUM 均优于所有其他方法，且 DIM-SUM 始终比 CMH 和 AGT 更快。
• 当偏度较高时（如 Zipf 分布），IM-SUM 和 DIM-SUM 的性能显著提升，因为维护操作的频率降低。
• 增大参数 γ（控制维护频率）可提升性能，直到某一临界点，其中 γ=4 在大多数工作负载下为最优值。
• DIM-SUM 的去摊销化引入了同步开销，导致其比 IM-SUM 稍慢，但对小 ε 值而言仍快于所有竞争算法。