[论文解读] TensorFlow Estimators: Managing Simplicity vs. Flexibility in High-Level Machine Learning Frameworks

Heng-Tze Cheng, Zakaria Haque+13 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Data Classification参考文献 11被引用 13

一句话总结

本文介绍了TensorFlow Estimators，一种高层级框架，通过为模型的训练、评估和部署提供统一接口，在简化与灵活性之间取得平衡，从而在机器学习中实现简化与灵活性的平衡。该框架使实践者能够以更少的样板代码、更高的可维护性以及更快的开发速度构建生产就绪的模型——在一项案例研究中，准确率提升了37%，代码量减少了75%，并在谷歌团队中得到广泛应用。

ABSTRACT

We present a framework for specifying, training, evaluating, and deploying machine learning models. Our focus is on simplifying cutting edge machine learning for practitioners in order to bring such technologies into production. Recognizing the fast evolution of the field of deep learning, we make no attempt to capture the design space of all possible model architectures in a domain- specific language (DSL) or similar configuration language. We allow users to write code to define their models, but provide abstractions that guide develop- ers to write models in ways conducive to productionization. We also provide a unifying Estimator interface, making it possible to write downstream infrastructure (e.g. distributed training, hyperparameter tuning) independent of the model implementation. We balance the competing demands for flexibility and simplicity by offering APIs at different levels of abstraction, making common model architectures available out of the box, while providing a library of utilities designed to speed up experimentation with model architectures. To make out of the box models flexible and usable across a wide range of problems, these canned Estimators are parameterized not only over traditional hyperparameters, but also using feature columns, a declarative specification describing how to interpret input data. We discuss our experience in using this framework in re- search and production environments, and show the impact on code health, maintainability, and development speed.

研究动机与目标

• 解决实践者在高层级机器学习框架中面临的灵活性与简洁性之间的张力。
• 在无需深入掌握框架知识的前提下，实现快速且可投入生产的模型开发。
• 将模型实现与分布式训练、超参数调优等基础设施问题解耦。
• 通过参数化、可组合的组件，同时支持标准模型架构与新颖架构的实验。
• 通过抽象化和最佳实践强制执行，提升代码质量、可维护性与开发速度。

提出的方法

• 引入统一的Estimator接口，标准化各类模型架构的训练、评估与导出流程。
• 采用特征列（feature columns）作为声明式、可组合的API，用于指定输入数据的转换与解释方式。
• 提供预打包的Estimators（如LinearClassifier、DNNLinearCombinedRegressor），支持可配置的超参数与特征列输入，实现开箱即用。
• 通过一致的API实现模型复用与抽象，将模型逻辑与训练及推理基础设施分离。
• 通过独立于模型实现的下游基础设施，支持分布式训练与超参数调优。
• 引入共享嵌入列（shared embedding columns），以支持迁移学习并减少语义相似特征的模型大小。

实验结果

研究问题

• RQ1 高层级机器学习框架如何在满足实践者简洁性需求的同时，保持足够的灵活性以适应不断演进的研究需求？
• RQ2 统一的Estimator接口在多大程度上能够减少样板代码并提升生产环境中机器学习系统的代码可维护性？
• RQ3 基于特征列与预打包Estimators等可组合抽象构建的框架，是否能够加速模型开发与部署？
• RQ4 该框架在减少模型连接错误与提升调试清晰度方面效果如何？
• RQ5 此类框架对大规模机器学习环境中开发速度与团队生产力的影响如何？

主要发现

• 从自定义模型迁移到标准Estimator后，模型准确率提升了37%，代码量从800行减少至200行。
• 一个此前需数周调试的CTR模型，成功迁移到Estimator框架后，仅用两天即达到可发布指标。
• 在不到一年内，超过1,000个Estimators被检入谷歌代码库，其中57%使用了预打包Estimators，表明广泛采用。
• 记录了超过120,000次实验，表明该框架在团队间被广泛用于模型训练与评估。
• 74%的用户报告使用该框架后开发速度更快，多数人提到上手迅速与代码可读性提升。
• 该框架使仅有有限TensorFlow经验的数据科学家也能在短短两天内构建出真实可用的模型，凸显其易用性。