[论文解读] NSML: A Machine Learning Platform That Enables You to Focus on Your Models

Nako Sung, Minkyu Kim+9 more|arXiv (Cornell University)|Dec 16, 2017

Machine Learning and Data Classification参考文献 13被引用 70

一句话总结

NSML 自动化资源管理、数据处理、实验跟踪和排行榜比较，让研究人员专注于模型开发；在80 GPUs上的原型机在 alpha 测试中显示效率提升。

ABSTRACT

Machine learning libraries such as TensorFlow and PyTorch simplify model implementation. However, researchers are still required to perform a non-trivial amount of manual tasks such as GPU allocation, training status tracking, and comparison of models with different hyperparameter settings. We propose a system to handle these tasks and help researchers focus on models. We present the requirements of the system based on a collection of discussions from an online study group comprising 25k members. These include automatic GPU allocation, learning status visualization, handling model parameter snapshots as well as hyperparameter modification during learning, and comparison of performance metrics between models via a leaderboard. We describe the system architecture that fulfills these requirements and present a proof-of-concept implementation, NAVER Smart Machine Learning (NSML). We test the system and confirm substantial efficiency improvements for model development.

研究动机与目标

• 定义一个来自大型在线 ML 社区的高效深度学习研究的实际需求。
• 设计并实现一个深度学习研究平台（NSML），自动化辅助任务。
• 在真实任务上演示 NSML 以展示效率提升和可用性。

提出的方法

• 集中式调度器采用主从架构进行资源分配，并有领导者选举机制以避免 SPOF。
• 容器化存储和 ML 容器以将数据/存储与模型环境分离，并实现库隔离。
• 基于网络的 UI 和 NSML-CLI 供用户交互，自动化环境打包和数据集挂载。
• 通过 Python API 和容器化环境对多种深度学习库（TensorFlow、PyTorch、MXNet）提供支持。
• 在训练过程中使用 REPL 式工作流进行超参数调整与模型评估，并通过 Kaggle 式排行榜进行比较。
• 在 MNIST、基于 GAN 的人脸生成、BiLSTM 电影评分预测、CNN 基于面部情感识别等任务上的 Alpha 测试演示。

实验结果

研究问题

• RQ1 如何简化 ML 研究工作流以减少手动任务（如 GPU 分配和实验跟踪）？
• RQ2 一个平台是否能在保持可重复性的同时支持多库与无服务器使用？
• RQ3 自动资源管理和排行榜驱动的比较对研究效率有何影响？
• RQ4 NSML在不同 ML 领域的真实世界任务中有多有效？

主要发现

• NSML 提供自动化的 GPU 分配、数据集管理和实验可视化，以减少人工劳动。
• 该平台支持多种库（TensorFlow、PyTorch、MXNet），并支持单个 GPU 与 GPU 集群。
• 内置排行榜便于在不同数据集上对模型与超参数进行直接比较。
• Alpha 测试者报告可用性和研究效率有所提升，早期测试期间亦有部分系统不稳定现象。
• NSML 能实现对实验的实时可视化和复现实验，促进可重复性和快速迭代。
• 在 MNIST、基于 GAN 的人脸生成、电影评分预测、面部情绪识别等任务的演示显示了实际应用性。