[论文解读] pForest: In-Network Inference with Random Forests

Coralie Busse-Grawitz, Roland Meier+3 more|arXiv (Cornell University)|Sep 12, 2019

Internet Traffic Analysis and Secure E-voting参考文献 31被引用 20

一句话总结

pForest 通过在可编程数据平面中训练一系列上下文感知的随机森林模型，实现在网络中尽早（ASAP）进行流量分类，这些模型在流生命周期内动态切换。它在交换机硬件约束下实现了与基于软件的机器学习系统相当的准确率，从而对数十万条流实现早期、精确的分类。

ABSTRACT

When classifying network traffic, a key challenge is deciding when to perform the classification, i.e., after how many packets. Too early, and the decision basis is too thin to classify a flow confidently; too late, and the tardy labeling delays crucial actions (e.g., shutting down an attack) and invests computational resources for too long (e.g., tracking and storing features). Moreover, the optimal decision timing varies across flows. We present pForest, a system for "As Soon As Possible" (ASAP) in-network classification according to supervised machine learning models on top of programmable data planes. pForest automatically classifies each flow as soon as its label is sufficiently established, not sooner, not later. A key challenge behind pForest is finding a strategy for dynamically adapting the features and the classification logic during the lifetime of a flow. pForest solves this problem by: (i) training random forest models tailored to different phases of a flow; and (ii) dynamically switching between these models in real time, on a per-packet basis. pForest models are tuned to fit the constraints of programmable switches (e.g., no floating points, no loops, and limited memory) while providing a high accuracy. We implemented a prototype of pForest in Python (training) and P4 (inference). Our evaluation shows that pForest can classify traffic ASAP for hundreds of thousands of flows, with a classification score that is on-par with software-based solutions.

研究动机与目标

• 为解决在何时进行网络内流量分类的最优时机问题，避免过早或过晚的决策。
• 在数据平面中使用随时间变化的流特征自适应的机器学习模型，实现实时、精确的分类。
• 设计一个在可编程交换机严格约束下运行的系统——无浮点运算、无循环、内存受限——同时保持高分类准确率。
• 自动生成并部署一系列针对流生命周期不同阶段定制的随机森林模型，实现在每个数据包基础上的动态模型切换。
• 证明网络内推理可以既尽早又准确，优于现有在固定包数或仅在流结束时才分类的方法。

提出的方法

• pForest 训练一系列依赖上下文的随机森林模型，每个模型针对流生命周期的特定阶段（如早期、中期、晚期）进行优化。
• 它根据流的进展和标签预测的置信度，在每个数据包基础上实时动态切换这些模型。
• 系统通过整数算术自动近似统计特征（如均值、方差），避免使用浮点运算，以适配交换机硬件约束。
• 采用自定义的编译策略，将训练好的随机森林模型编译为 P4 程序，以优化内存和流水线效率。
• 通过非采样网格搜索调优模型超参数（如深度、树的数量、阈值），在硬件限制下最大化准确率。
• 利用随机森林的可解释性和鲁棒性，在特征漂移和计算资源有限的情况下仍能保持高准确率。

实验结果

研究问题

• RQ1 是否可以在不依赖固定包数阈值的前提下，实现尽可能早的网络内分类，同时保持高准确率？
• RQ2 如何在流生命周期内动态调整机器学习模型，以反映特征相关性与预测置信度的变化？
• RQ3 在无浮点支持且内存受限的可编程数据平面中，随机森林能在多大程度上被高效地编译与执行？
• RQ4 一系列上下文相关的随机森林是否能优于静态模型，在早期且准确的流量分类中表现更优？
• RQ5 与基于软件的机器学习系统相比，pForest 在分类准确率和分类时机方面表现如何？

主要发现

• pForest 实现的分类准确率与基于软件的 scikit-learn 实现相当，证明了在硬件受限条件下的网络内推理可达到离线性能水平。
• 系统在标签足够明确时即刻完成分类——既不过早也不过晚，从而能够及时响应 DDoS 攻击等网络事件。
• pForest 成功处理了数十万条并发流，实现低延迟的、基于流进度的每个数据包模型切换。
• 使用上下文相关的随机森林使系统能够随流阶段变化自适应调整特征重要性和决策逻辑，从而随时间提升预测置信度。
• 编译管道能有效将复杂的随机森林模型映射为 P4 代码，满足严格交换机约束，包括仅支持整数运算且无动态内存分配。
• pForest 优于现有在固定包数或仅在流结束时才分类的网络内分类器，证明了动态、阶段感知模型选择的价值。