[论文解读] Overton: A Data System for Monitoring and Improving Machine-Learned Products

Christopher Ré, Feng Niu+2 more|arXiv (Cornell University)|Sep 7, 2019

Anomaly Detection Techniques and Applications参考文献 29被引用 21

一句话总结

Overton 是一个数据系统，通过声明式、基于模式的抽象，使工程师能够构建、监控并改进生产环境中的机器学习系统，无需编写底层模型代码。它通过程序化监督自动化模型训练、超参数调优和部署，在一年的生产应用中将错误率降低了 1.7–2.9 倍。

ABSTRACT

We describe a system called Overton, whose main design goal is to support engineers in building, monitoring, and improving production machine learning systems. Key challenges engineers face are monitoring fine-grained quality, diagnosing errors in sophisticated applications, and handling contradictory or incomplete supervision data. Overton automates the life cycle of model construction, deployment, and monitoring by providing a set of novel high-level, declarative abstractions. Overton's vision is to shift developers to these higher-level tasks instead of lower-level machine learning tasks. In fact, using Overton, engineers can build deep-learning-based applications without writing any code in frameworks like TensorFlow. For over a year, Overton has been used in production to support multiple applications in both near-real-time applications and back-of-house processing. In that time, Overton-based applications have answered billions of queries in multiple languages and processed trillions of records reducing errors 1.7-2.9 times versus production systems.

研究动机与目标

• 解决缺乏用于监控和维护已部署机器学习模型的工具问题，因为此类问题主导了总拥有成本。
• 使工程师能够专注于监督数据，而非底层模型架构或超参数调优。
• 在复杂、多组件的机器学习流水线中，支持对罕见但关键的输入子集进行细粒度的质量监控。
• 在解决冲突的同时，管理不断演变的、多粒度的监督数据，包括程序化标签和合成标签。
• 通过声明式模式系统，自动化模型生命周期任务，包括训练、超参数选择和部署。

提出的方法

• Overton 使用声明式模式将模型逻辑与监督数据分离，实现模型独立性和模式稳定性。
• 该模式定义了输入数据负载和模型任务，规定了模型的计算内容，但不指定其计算方式（例如架构或超参数）。
• 通过粗粒度的神经架构搜索，自动完成模型实例化、训练和超参数选择，优先考虑效率而非精细的架构探索。
• 监督数据与模式分开管理，可快速更新，支持程序化、合成及人工标注的标签。
• Overton 将模式和数据编译为生产就绪的二进制文件，隐藏了模型实现的细节。
• 系统通过支持对数据负载和模型任务的模块化、组合式推理，实现多组件流水线的支持。

实验结果

研究问题

• RQ1 如何在不依赖底层模型工程的情况下，高效地在生产环境中维护和改进机器学习系统？
• RQ2 声明式模式系统能否将模型逻辑与监督数据解耦，从而提升开发效率和系统可维护性？
• RQ3 自动化架构与超参数搜索在多大程度上可以减少生产系统中对人工模型设计的需求？
• RQ4 系统如何有效监控并改进复杂机器学习流水线中罕见但关键的输入子集的细粒度质量？
• RQ5 在统一的数据管理系统中，能否有效规模化管理并协调程序化监督？

主要发现

• 在为期一年的部署周期中，Overton 相较基线生产系统，将错误率降低了 1.7 至 2.9 倍。
• 该系统使工程师无需编写 TensorFlow 等框架的代码，即可构建和维护深度学习应用。
• 在生产环境中，基于 Overton 的应用共回答了超过 17 亿个查询，处理了数万亿条记录。
• 在生产环境中，模式变更保持稳定超过一年，表明模型具有较强的独立性并显著降低了维护开销。
• 该系统成功管理了涉及实体识别、意图检测和事实型问题问答中知识对齐的复杂多组件流水线。
• Overton 的监督管理方法使程序化与合成标签的快速迭代成为可能，从而在不从头开始重新训练的情况下提升了模型质量。