[论文解读] Software Engineering Practices for Machine Learning

Peter Kriens, Tim Verbelen|arXiv (Cornell University)|Jun 25, 2019

Adversarial Robustness in Machine Learning参考文献 6被引用 9

一句话总结

本文提出将软件工程实践——特别是OSGi的Requirements/Capability模型——应用于机器学习（ML），通过将ML模型形式化为带有机器可读元数据的模块化构件，以描述其能力（如输入/输出规范、数据集）和需求（如运行时、硬件）。通过将ML模型视为软件库，该方法实现了ML组件的自动化、可靠组合与部署，减少了手动集成错误，并简化了生产流水线。

ABSTRACT

In the last couple of years we have witnessed an enormous increase of machine learning (ML) applications. More and more program functions are no longer written in code, but learnt from a huge amount of data samples using an ML algorithm. However, what is often overlooked is the complexity of managing the resulting ML models as well as bringing these into a real production system. In software engineering, we have spent decades on developing tools and methodologies to create, manage and assemble complex software modules. We present an overview of current techniques to manage complex software, and how this applies to ML models.

研究动机与目标

• 解决在生产系统中部署和维护ML模型日益增长的复杂性问题。
• 指出ML模型部署常被视为事后补充，导致诸如“胶水代码”和“流水线丛林”等反模式。
• 弥合软件工程最佳实践与ML模型生命周期管理之间的差距。
• 通过形式化元数据，实现ML组件的自动化、工具驱动组合。
• 通过将ML系统建模为模块化软件构件，提升其可靠性、可重用性和可维护性。

提出的方法

• 以OSGi的Requirements/Capability模型为基础，将ML模型描述为可重用的软件模块。
• 使用结构化元数据定义模型能力：输入格式（如28x28图像）、输出类型（如10类数字分类）、数据集（如MNIST）和版本。
• 指定模型需求，如所需库、硬件（如GPU）和运行时依赖。
• 使用OSGi Resolver根据消费者定义的需求，自动组装兼容的ML模型及其执行环境。
• 以标准化、机器可读格式（如嵌入元数据的.jar文件）表示模型元数据，类比于软件库。
• 将该方法应用于真实世界的ML工作流，演示基于MNIST或SVHN训练的模型在数字分类任务中实现自动解析。

实验结果

研究问题

• RQ1 如何将软件工程原则（如模块化和依赖管理）应用于机器学习模型？
• RQ2 何种元数据结构可支持在复杂生产流水线中实现ML模型的可靠、自动化组合？
• RQ3 形式化的能力与需求是否能减少ML部署中的人工错误和手动工作量？
• RQ4 如何以支持向后兼容性和互操作性的方式打包和版本化ML模型？
• RQ5 现有软件工程工具链（如OSGi）在多大程度上可扩展以支持ML模型生命周期管理？

主要发现

• 通过形式化ML模型的能力（如输入尺寸、输出类型、数据集）和需求（如库、硬件），可实现自动化、工具驱动的模型组合。
• OSGi Resolver可根据消费者需求自动选择兼容的ML模型，例如接受至少28x28像素图像用于数字分类。
• 在元数据匹配消费者定义的过滤条件时，基于MNIST或SVHN训练的ML模型可被自动发现并组合。
• 使用标准化元数据可降低部署失败风险，通过在开发、测试和生产阶段验证兼容性。
• 对ML模型应用语义版本控制和机器可读元数据，可显著减少“胶水代码”和“流水线丛林”的出现。
• 该方法实现了从临时、手动的ML部署向系统化、可扩展且可维护的ML系统软件工程模型的转变。