[论文解读] Real-Time Machine Learning: The Missing Pieces

Robert Nishihara, Philipp Moritz+8 more|arXiv (Cornell University)|Mar 11, 2017

Data Stream Mining Techniques参考文献 17被引用 14

一句话总结

本文提出了一种新型分布式执行框架，用于实时机器学习工作负载，支持毫秒级延迟、高吞吐量、动态任务图以及异构工作负载——在强化学习工作负载上相较最先进的BSP框架实现了63倍的加速。该系统采用逻辑集中式控制平面与混合调度器，实现低开销、容错的执行，并具备完整的可调试性与性能分析支持。

ABSTRACT

Machine learning applications are increasingly deployed not only to serve predictions using static models, but also as tightly-integrated components of feedback loops involving dynamic, real-time decision making. These applications pose a new set of requirements, none of which are difficult to achieve in isolation, but the combination of which creates a challenge for existing distributed execution frameworks: computation with millisecond latency at high throughput, adaptive construction of arbitrary task graphs, and execution of heterogeneous kernels over diverse sets of resources. We assert that a new distributed execution framework is needed for such ML applications and propose a candidate approach with a proof-of-concept architecture that achieves a 63x performance improvement over a state-of-the-art execution framework for a representative application.

研究动机与目标

• 应对实时、响应式机器学习系统日益增长的需求，这些系统需在反馈回路中运行，具备动态、高吞吐量、低延迟的要求。
• 识别现代实时机器学习工作负载的七个关键需求（R1–R7），包括低延迟任务执行、动态图构建，以及异构资源支持。
• 设计一种灵活的编程模型与系统架构，支持动态任务创建、任意数据流依赖关系，以及异构内核，同时不牺牲容错性或可调试性。
• 证明现有框架无法满足实时机器学习应用对性能与灵活性的综合需求，尤其是在强化学习与在线规划场景中。

提出的方法

• 提出逻辑集中式控制平面，以实现无状态执行与 lineage 重放，从而支持容错与调试。
• 实现一种混合调度器，将调度决策在节点级与集群级调度器之间分配，以优化低延迟与高吞吐量。
• 设计一种编程模型，通过异步任务提交与未来对象（futures），支持动态任务创建（R3）、异构任务（R4）与任意数据流依赖关系（R5）。
• 使用原型系统评估端到端延迟与吞吐量，测量任务提交与结果获取时间分别为290μs（本地）与1ms（远程）。
• 在涉及并行模拟与基于GPU的策略拟合的强化学习工作负载上进行基准测试，与Spark及单线程基线系统进行对比。
• 利用如'wait'等原原子操作，支持流水线执行，并实现复杂控制流（如自适应超参数搜索）。

实验结果

研究问题

• RQ1 分布式执行框架能否在支持每秒数百万任务的高吞吐量任务执行的同时，实现毫秒级的端到端延迟，以满足实时机器学习工作负载的需求？
• RQ2 系统如何在执行过程中动态构建与管理任意细粒度的任务图，特别是在包含蒙特卡洛树搜索的强化学习流水线中？
• RQ3 何种架构设计能够高效调度具有不同资源需求（如CPU与GPU）与执行时间的任务？
• RQ4 在针对低延迟、高吞吐量与动态工作负载进行优化的系统中，是否能够保持透明的容错性与完整的可调试性？
• RQ5 新型框架在实时机器学习工作负载中，相较于现有批量同步并行系统（如Spark）的性能提升程度如何？

主要发现

• 原型系统在本地任务执行中实现290μs的端到端任务延迟，在远程执行中为1ms，证明了其毫秒级性能。
• 在包含并行模拟与基于GPU的策略拟合的代表性强化学习工作负载上，系统相较基于Spark的实现实现了63倍的加速。
• 系统相较同一工作负载的单线程实现快7倍，凸显了低开销任务管理下并行化的显著优势。
• 混合调度器设计有效平衡了低延迟任务调度与高吞吐量能力，避免了集中式调度器常见的批处理权衡。
• 所提出的编程模型通过极少的代码修改即可实现复杂控制模式（如流水线执行与嵌套超参数搜索），展现出强大的实际灵活性。
• 系统保持了透明的容错性，并支持完整的可调试性与性能分析，解决了高性能系统中常被牺牲的关键实际问题。