[论文解读] Neural Packet Classification

Eric Liang, Hang Zhu+2 more|arXiv (Cornell University)|Feb 27, 2019

Network Packet Processing and Optimization参考文献 55被引用 5

一句话总结

NeuroCuts 提出了一种基于深度强化学习（RL）的方法，用于生成紧凑且高性能的决策树以实现数据包分类，其性能优于手工调优的算法，通过优化分类时间和内存占用实现。该方法采用简洁的状态和动作表示，高效探索树结构，在 ClassBench 上实现分类时间中位数提升 18%，并实现时间与内存占用最高达 3 倍的减少。

ABSTRACT

Packet classification is a fundamental problem in computer networking. This problem exposes a hard tradeoff between the computation and state complexity, which makes it particularly challenging. To navigate this tradeoff, existing solutions rely on complex hand-tuned heuristics, which are brittle and hard to optimize. In this paper, we propose a deep reinforcement learning (RL) approach to solve the packet classification problem. There are several characteristics that make this problem a good fit for Deep RL. First, many of the existing solutions are iteratively building a decision tree by splitting nodes in the tree. Second, the effects of these actions (e.g., splitting nodes) can only be evaluated once we are done with building the tree. These two characteristics are naturally captured by the ability of RL to take actions that have sparse and delayed rewards. Third, it is computationally efficient to generate data traces and evaluate decision trees, which alleviate the notoriously high sample complexity problem of Deep RL algorithms. Our solution, NeuroCuts, uses succinct representations to encode state and action space, and efficiently explore candidate decision trees to optimize for a global objective. It produces compact decision trees optimized for a specific set of rules and a given performance metric, such as classification time, memory footprint, or a combination of the two. Evaluation on ClassBench shows that NeuroCuts outperforms existing hand-crafted algorithms in classification time by 18% at the median, and reduces both time and memory footprint by up to 3x.

研究动机与目标

• 为解决手工调优启发式方法在数据包分类决策树构建中的局限性，这些方法对不同规则集表现脆弱且次优。
• 实现针对特定规则集和性能目标（如分类时间与内存占用）的决策树端到端自动优化。
• 利用深度强化学习应对树构建过程中固有的稀疏且延迟的奖励结构，即性能仅在完整树构建后才可评估。
• 构建一种可扩展、可泛化的解决方案，能够整合领域特定启发式方法，同时最小化人工干预。
• 通过学习全局最优树结构而非依赖局部启发式决策，超越现有基于软件的数据包分类器。

提出的方法

• NeuroCuts 将数据包分类树构建问题建模为一个序列决策问题，采用深度强化学习，其中动作对应于树中节点的分裂。
• 它采用紧凑且固定长度的状态空间表示，以编码规则分布和树结构，从而实现高效探索与训练。
• 智能体被训练以最大化稀疏且延迟的奖励，基于最终树的性能表现——具体为最小化分类时间与内存使用。
• 该方法支持灵活的目标，包括时间与内存的联合优化，并可将预设的启发式方法作为动作空间的一部分进行整合。
• 它使用自定义环境生成数据追踪并高效评估候选树，缓解了深度强化学习通常面临的高样本复杂度问题。
• 该架构采用演员-评论家深度强化学习算法（如 PPO），并结合定制化的奖励塑造，引导树结构向紧凑且高性能的方向生长。

实验结果

研究问题

• RQ1 深度强化学习能否有效优化数据包分类的决策树构建，超越手工设计的启发式方法？
• RQ2 所学习的策略在不同规则集和性能目标（如分类时间、内存占用）上的泛化能力如何？
• RQ3 强化学习智能体能否在不依赖领域特定启发式方法的情况下，学习构建紧凑且高性能的树？
• RQ4 预构建的启发式方法在多大程度上可被整合进强化学习框架，以提升样本效率与性能？
• RQ5 该方法能否扩展至真实世界规则集，并在 ClassBench 等标准基准上实现可测量的性能提升？

主要发现

• 在 ClassBench 数据集上，NeuroCuts 相较于最先进手工调优算法，将分类时间中位数降低了 18%。
• 在多个规则集上，其分类时间与内存占用最高实现 3 倍的减少，展现出显著的性能提升。
• 该方法通过端到端学习生成更紧凑、更快速的决策树，优于现有基于软件的数据包分类器。
• NeuroCuts 有效将领域特定启发式方法整合进强化学习动作空间，在不牺牲优化灵活性的前提下提升了训练稳定性和性能。
• 该方法具备可扩展性与泛化能力，能够针对多样化目标（如最坏情况分类时间或内存使用）进行优化。
• 评估结果证实，所学习的策略在不同规则集上均表现出良好的泛化能力，表明其在真实世界部署中具有强大适应性。