[论文解读] Toward End-to-End MLOps Tools Map: A Preliminary Study based on a Multivocal Literature Review

Sergio Moreschi, Gilberto Recupito+4 more|arXiv (Cornell University)|Apr 6, 2023

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本研究通过多源文献综述，对84个MLOps工具在DevOps各阶段的分布进行了映射，识别了其功能目的、兼容性与不兼容性。主要贡献在于提出了一幅图形化的DevOps地图，使从业者和研究人员能够为机器学习生命周期的各个阶段选择合适的工具，支持端到端的流水线设计，并最大限度减少工具间的冲突。

ABSTRACT

MLOps tools enable continuous development of machine learning, following the DevOps process. Different MLOps tools have been presented on the market, however, such a number of tools often create confusion on the most appropriate tool to be used in each DevOps phase. To overcome this issue, we conducted a multivocal literature review mapping 84 MLOps tools identified from 254 Primary Studies, on the DevOps phases, highlighting their purpose, and possible incompatibilities. The result of this work will be helpful to both practitioners and researchers, as a starting point for future investigations on MLOps tools, pipelines, and processes.

研究动机与目标

• 解决由于可用工具数量激增，导致从业者和研究人员在选择合适MLOps工具时日益困惑的问题。
• 通过扩展至包括白色文献和灰色文献，并应用滚雪球法，克服以往文献综述的局限性。
• 系统性地将MLOps工具映射到特定的DevOps阶段，明确其在机器学习生命周期中的角色。
• 识别工具之间潜在的不兼容性，以指导有效流水线组合，避免集成问题。
• 提供一幅可视化、可操作的工具地图，以支持MLOps实践在研究与工业界的采纳。

提出的方法

• 对先前的多源文献综述进行了内部差异化复制，以扩大覆盖范围并提升严谨性。
• 在Google和Google Scholar中搜索前102项结果，并通过选定的原始研究进行滚雪球法补充。
• 收集了254项原始研究（其中203篇为灰色文献，51篇为白色文献），并提取出84种不同的MLOps工具。
• 根据每种工具的功能目的，将其映射到一个或多个DevOps阶段（计划、编码、构建、测试、发布、部署、运维、监控）。
• 通过交叉比对工具功能与部署模式，评估工具的兼容性与不兼容性。
• 生成一幅图形化的DevOps地图，以可视化方式呈现工具在各阶段的分布，支持工具选择。

Figure 1: MLOps infinite loop [ 4 ]

实验结果

研究问题

• RQ1 目前实践中使用的MLOps工具有哪些，它们在DevOps生命周期各阶段的分布情况如何？
• RQ2 在每个DevOps阶段中，所识别的MLOps工具的关键功能目的分别是什么？
• RQ3 是否存在已知的MLOps工具之间不兼容的情况，可能阻碍流水线集成？
• RQ4 端到端MLOps平台在多大程度上支持与第三方工具的集成？
• RQ5 如何通过一幅全面的、可视化的MLOps工具地图，提升端到端机器学习流水线的设计？

主要发现

• 从254项原始研究中识别出84种不同的MLOps工具，其中203项来自灰色文献，51项来自白色文献。
• 大多数端到端MLOps平台不支持与外部工具的集成，限制了流水线的灵活性。
• 未发现来自不同DevOps阶段的单个工具之间存在不兼容性，表明它们通常可以组合成一个连贯的流水线。
• 大多数工具专注于特定阶段，跨阶段的功能重叠有限。
• 本研究揭示了当前MLOps解决方案在全自动化方面仍存在不足，许多工具提供重叠或冗余的功能。
• 图形化的DevOps地图为工具分布提供了清晰、可操作的概览，有助于工具选择与流水线设计。

Figure 3: Identified tools and their subcategories to produce MLOps Pipelines