[论文解读] Operationalizing Machine Learning: An Interview Study
本研究访谈了18位 ML 工程师，揭示生产环境 ML（MLOps）的实践方式，识别三个成功因素——速度、验证与版本控制，并详细说明组织与工具方面的影响。
Organizations rely on machine learning engineers (MLEs) to operationalize ML, i.e., deploy and maintain ML pipelines in production. The process of operationalizing ML, or MLOps, consists of a continual loop of (i) data collection and labeling, (ii) experimentation to improve ML performance, (iii) evaluation throughout a multi-staged deployment process, and (iv) monitoring of performance drops in production. When considered together, these responsibilities seem staggering -- how does anyone do MLOps, what are the unaddressed challenges, and what are the implications for tool builders? We conducted semi-structured ethnographic interviews with 18 MLEs working across many applications, including chatbots, autonomous vehicles, and finance. Our interviews expose three variables that govern success for a production ML deployment: Velocity, Validation, and Versioning. We summarize common practices for successful ML experimentation, deployment, and sustaining production performance. Finally, we discuss interviewees' pain points and anti-patterns, with implications for tool design.
研究动机与目标
- 识别在不同组织和应用中，ML 模型在生产环境中的落地方式。
- 从 ML 工程师的角度理解 MLOps 的日常实践、工作流和决策点。
- 揭示痛点、反模式，以及引导未来工具设计与流程改进的机会。
提出的方法
- 对来自不同行业的18位ML工程师进行了半结构化民族志访谈。
- 应用扎根理论，采用开放编码和轴心编码，使用 MaxQDA 对转录文本进行分析。
- 将研究结果综合为常见的 MLOps 实践、三大要素，以及对工具设计的痛点与影响。
实验结果
研究问题
- RQ1在从数据收集到监控的生产 ML 生命周期中，常规任务有哪些？
- RQ2哪些因素决定生产 ML 部署的成功，以及它们在实践中的表现？
- RQ3生产中 ML 工程师常见的挑战与反模式是什么？需要哪些工具？
主要发现
- ML 工程师在生产生命周期中遵循四项核心任务：数据收集/标注、实验、评估/部署，以及监控/响应。
- 三大要素决定成功：Velocity（快速原型设计与调试）、Validation（动态、多方面评估）和 Versioning（跟踪多版本模型和数据）。
- 机器学习工程高度实验性，强调通过协作型构思生成和以数据为中心的实验，快速迭代并及早淘汰错误的想法。
- 评估是一个活跃的组织性工作，具有动态验证数据集、标准化的验证系统，以及多阶段部署以降低风险。
- 产品指标和业务 KPI 与评估挂钩，确保 ML 改进转化为有形的产品价值。
- 为维持生产性能，工程师使用版本化部署、护栏、值班轮换，以及以配置驱动的变更，以最小化生产停机时间。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。