[论文解读] Open Source Vizier: Distributed Infrastructure and API for Reliable and Flexible Blackbox Optimization

Xingyou Song, Sagi Perel+3 more|arXiv (Cornell University)|Jul 27, 2022

Machine Learning and Data Classification被引用 4

一句话总结

OSS Vizier 是一个基于 Python 的开源、分布式框架，支持可扩展、容错的黑箱优化，允许用户通过灵活的基于 RPC 的 API 定义并求解复杂的优化问题——包括多目标、条件性和提前停止场景。它支持与任何语言集成，并提供可自定义的后端用于算法开发，适用于研究和生产环境。

ABSTRACT

Vizier is the de-facto blackbox and hyperparameter optimization service across Google, having optimized some of Google's largest products and research efforts. To operate at the scale of tuning thousands of users' critical systems, Google Vizier solved key design challenges in providing multiple different features, while remaining fully fault-tolerant. In this paper, we introduce Open Source (OSS) Vizier, a standalone Python-based interface for blackbox optimization and research, based on the Google-internal Vizier infrastructure and framework. OSS Vizier provides an API capable of defining and solving a wide variety of optimization problems, including multi-metric, early stopping, transfer learning, and conditional search. Furthermore, it is designed to be a distributed system that assures reliability, and allows multiple parallel evaluations of the user's objective function. The flexible RPC-based infrastructure allows users to access OSS Vizier from binaries written in any language. OSS Vizier also provides a back-end ("Pythia") API that gives algorithm authors a way to interface new algorithms with the core OSS Vizier system. OSS Vizier is available at https://github.com/google/vizier.

研究动机与目标

• 为研究和工业界提供一个生产级的、开源的 Google 内部 Vizier 系统替代方案，用于黑箱优化。
• 使研究人员和实践者能够在自己的基础设施上部署和自定义一个可靠、分布式的优化服务。
• 在统一、可扩展的框架中支持高级优化功能，如多指标优化、条件搜索空间和提前停止。
• 通过模块化的 Pythia API 实现算法开发与部署的解耦，支持可插拔的优化算法。
• 通过面向服务的、基于 RPC 的架构和持久化状态管理，确保容错性和水平可扩展性。

提出的方法

• 通过高层 Python API 暴露优化问题的定义，包括搜索空间、指标和约束。
• 使用远程过程调用（RPC）协议将客户端与后端解耦，支持分布式执行和多语言互操作。
• 采用有状态的后端服务，以容错和持久化方式管理试验、建议和结果。
• 通过允许超参数依赖于其他超参数的值，支持条件搜索空间，实现结构化的超参数搜索。
• 通过中间指标报告引入提前停止机制，允许根据性能趋势提前终止试验。
• 提供 Pythia API，供算法作者实现并将其新优化算法插入核心系统。

实验结果

研究问题

• RQ1 如何在保持可靠性与可扩展性的前提下，有效开源一个生产级的黑箱优化系统？
• RQ2 基于模块化、基于 RPC 的架构，能在多大程度上构建一个分布式的、容错的、多租户的优化服务？
• RQ3 统一的 API 是否能有效支持多样化的优化工作负载，包括多目标、条件性和提前停止场景？
• RQ4 用户端 API 与算法后端之间的关注点分离，如何促进可扩展性和长期可维护性？
• RQ5 在设计一个同时支持研究实验和大规模生产使用的系统时，实际权衡是什么？

主要发现

• OSS Vizier 通过一个完全开源、独立的 Python 包，成功暴露了 Google Vizier 的核心能力——该系统曾内部用于数百万次优化任务。
• 该系统支持高级功能，如多目标优化、条件搜索空间和提前停止，这些功能对现实世界中的机器学习和科学工作流至关重要。
• 基于 RPC 的架构支持与任何语言编写的系统无缝集成，显著提升了互操作性和部署灵活性。
• Pythia API 允许研究人员独立实现和测试新的优化算法，无需修改核心服务，从而促进可扩展性和创新。
• 该系统已通过生产环境验证，具备容错能力、持久化状态管理，并支持高吞吐量、异步评估。
• OSS Vizier 与 Vertex AI Vizier 完全兼容，并可与 XManager 等现有 Google 生态系统工具集成，实现与更广泛机器学习编排流水线的互操作。