[论文解读] Rafiki: Machine Learning as an Analytics Service System

Wei Wang, Sheng Wang+5 more|arXiv (Cornell University)|Apr 17, 2018

Data Stream Mining Techniques参考文献 30被引用 15

一句话总结

Rafiki 是一个基于云的机器学习服务系统，使数据库用户能够通过兼容 SQL 的接口轻松训练和部署机器学习模型——尤其是深度学习模型。它支持分布式超参数调优以实现高效训练，并采用在线集成建模技术，在推理延迟与准确率之间实现平衡，显著提升了非专家用户在大数据分析工作负载中的易用性和性能。

ABSTRACT

Big data analytics is gaining massive momentum in the last few years. Applying machine learning models to big data has become an implicit requirement or an expectation for most analysis tasks, especially on high-stakes applications.Typical applications include sentiment analysis against reviews for analyzing on-line products, image classification in food logging applications for monitoring user's daily intake and stock movement prediction. Extending traditional database systems to support the above analysis is intriguing but challenging. First, it is almost impossible to implement all machine learning models in the database engines. Second, expertise knowledge is required to optimize the training and inference procedures in terms of efficiency and effectiveness, which imposes heavy burden on the system users. In this paper, we develop and present a system, called Rafiki, to provide the training and inference service of machine learning models, and facilitate complex analytics on top of cloud platforms. Rafiki provides distributed hyper-parameter tuning for the training service, and online ensemble modeling for the inference service which trades off between latency and accuracy. Experimental results confirm the efficiency, effectiveness, scalability and usability of Rafiki.

研究动机与目标

• 解决在无需深度学习专业知识的情况下将机器学习集成到数据库系统以支持复杂分析的挑战。
• 通过提供可扩展的分布式超参数调优服务，减轻模型训练与调优的负担。
• 通过自适应在线集成建模实现实现高效、低延迟的推理，平衡准确率与响应时间。
• 在基于云的分析平台中支持端到端的机器学习工作流——从数据上传、模型训练到部署和查询。
• 通过用户自定义函数（UDFs）和 Web API 抽象机器学习复杂性，提升数据库开发者的易用性。

提出的方法

• Rafiki 提供一个云原生平台，将机器学习模型作为 Web API 暴露，支持通过用户自定义函数（UDFs）与 SQL 查询集成。
• 它利用多个工作节点并行化训练任务，实现跨多个工作节点的分布式超参数调优，以高效优化模型性能。
• 在推理阶段，Rafiki 采用在线集成建模技术，根据请求负载和性能权衡动态调整集成中模型的数量。
• 系统使用基于强化学习的控制器，实时调节集成规模，以在准确率和延迟之间实现平衡。
• 强化学习控制器中的奖励函数结合了准确率和超时请求惩罚，其中可配置的权衡参数为 β。
• 系统支持模型生命周期管理，包括重训练和重新部署，并确保对现有 SQL 查询的向后兼容性。

实验结果

研究问题

• RQ1 如何在数据库分析工作流中高效且自动地为特定数据集调优机器学习模型？
• RQ2 在生产环境的机器学习服务中，推理延迟与预测准确率之间的最优权衡是什么？
• RQ3 非专家数据库用户如何在无需底层机器学习专业知识的情况下有效利用复杂的深度学习模型？
• RQ4 基于云的系统能否在保持低延迟和高准确率的同时，实现超参数调优和推理的可扩展性？
• RQ5 动态集成建模如何适应变化的请求工作负载，以维持性能和可用性？

主要发现

• Rafiki 在分布式超参数调优方面实现了高效的可扩展性，显著缩短了复杂模型的训练时间。
• 与固定集成基线相比，其在线集成建模方法在高负载下可将超时请求数减少高达 60%，同时保持具有竞争力的准确率。
• 强化学习控制器能够根据请求到达速率自适应调整，高负载时使用更少模型以提升吞吐量并减少超时请求数。
• 当奖励函数中 β=1 时，系统相比 β=0 可将超时请求数减少 45%，尽管准确率略有下降，表明实现了有效的延迟控制。
• 系统实现了深度学习与 SQL 工作流的无缝集成：在 Rafiki 中重新训练模型无需修改现有 SQL 查询，确保向后兼容性。
• 案例研究显示，Rafiki 通过仅对过滤后的行执行按需推理，显著减少了开发时间和计算浪费，提升了真实应用场景（如食品记录）中的效率。