[论文解读] Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)

Κωνσταντίνος, Katsiapis+18 more|arXiv (Cornell University)|Sep 28, 2020

Scientific Computing and Data Management参考文献 14被引用 6

一句话总结

本文对 Alphabet 公司的端到端机器学习平台 TensorFlow Extended（TFX）的发展历史进行了概述，追溯其从早期 Sibyl 系统的演变历程。文章认为，机器学习工程——类比于成熟的软件工程——需要强大的基础设施和标准化实践，而 TFX 通过模块化、可扩展的组件，支持数据验证、训练、推理和监控等生产级机器学习工作流，最终倡导组织在机器学习工程成熟度方面进行制度化投入。

ABSTRACT

Software Engineering, as a discipline, has matured over the past 5+ decades. The modern world heavily depends on it, so the increased maturity of Software Engineering was an eventuality. Practices like testing and reliable technologies help make Software Engineering reliable enough to build industries upon. Meanwhile, Machine Learning (ML) has also grown over the past 2+ decades. ML is used more and more for research, experimentation and production workloads. ML now commonly powers widely-used products integral to our lives. But ML Engineering, as a discipline, has not widely matured as much as its Software Engineering ancestor. Can we take what we have learned and help the nascent field of applied ML evolve into ML Engineering the way Programming evolved into Software Engineering [1]? In this article we will give a whirlwind tour of Sibyl [2] and TensorFlow Extended (TFX) [3], two successive end-to-end (E2E) ML platforms at Alphabet. We will share the lessons learned from over a decade of applied ML built on these platforms, explain both their similarities and their differences, and expand on the shifts (both mental and technical) that helped us on our journey. In addition, we will highlight some of the capabilities of TFX that help realize several aspects of ML Engineering. We argue that in order to unlock the gains ML can bring, organizations should advance the maturity of their ML teams by investing in robust ML infrastructure and promoting ML Engineering education. We also recommend that before focusing on cutting-edge ML modeling techniques, product leaders should invest more time in adopting interoperable ML platforms for their organizations. In closing, we will also share a glimpse into the future of TFX.

研究动机与目标

• 记录 Alphabet 公司内部端到端机器学习平台 Sibyl 和 TFX 的历史发展过程。
• 识别促成机器学习工程作为一门学科走向成熟的的关键技术和文化转变。
• 展示 TFX 中标准化、模块化组件如何支持在生产环境中实现可靠、可扩展的机器学习部署。
• 倡导组织投资于机器学习基础设施和机器学习工程教育，以充分释放应用机器学习的潜力。
• 为 TFX 作为工业级机器学习系统基础的未来发展提供愿景。

提出的方法

• 作者对 Alphabet 公司内部使用的两个相继的机器学习平台——Sibyl 和 TFX——进行了回顾性分析。
• 对比了 Sibyl 和 TFX 在架构模式、组件模块化和运维实践方面的异同。
• 论文概述了 TFX 的核心组件，包括数据验证、统计信息生成、模型训练和模型推理，作为端到端流水线的一部分。
• 强调使用标准化、可重用的组件，以提升流水线的可复现性、可观测性和跨团队协作效率。
• 作者将软件工程的发展历程与新兴的机器学习工程学科进行类比。
• 倡导构建互操作性强、平台无关的机器学习系统，以减少技术债务并提升团队生产力。

实验结果

研究问题

• RQ1 从 Sibyl 到 TFX 的过渡如何反映机器学习工程作为一门学科的成熟过程？
• RQ2 哪些架构和组织上的转变使得 TFX 能够支持可扩展、可靠的机器学习生产系统？
• RQ3 TFX 组件在多大程度上解决了机器学习流水线中数据质量、模型版本控制和部署一致性方面的挑战？
• RQ4 组织如何通过基础设施投资和平台采纳来加速机器学习工程的成熟？
• RQ5 标准化、互操作的机器学习平台在减少技术债务和提升团队协作方面发挥什么作用？

主要发现

• TFX 从 Sibyl 演化而来，发展为一个支持端到端机器学习工作流的生产级、模块化平台，其组件具备版本控制能力。
• 在 TFX 中采用标准化、可重用的组件，显著提升了流水线的可靠性、可复现性和可观测性。
• 该平台实现了数据验证、模型训练和推理的一致性，减少了机器学习系统中的错误和技术债务。
• 组织可通过投资于稳健的机器学习基础设施并推动机器学习工程教育，实现更高的机器学习成熟度。
• 像 TFX 这类互操作性强的机器学习平台有助于将模型开发与部署解耦，从而支持可扩展、可维护的机器学习系统。
• 本文展望 TFX 将朝着增强自动化、监控能力和可扩展性方向演进，以支持未来大规模的机器学习工作负载。