[论文解读] Swift for TensorFlow: A portable, flexible platform for deep learning

Brennan Saeta, Denys Shabalin+11 more|arXiv (Cornell University)|Mar 15, 2021

Scientific Computing and Data Management被引用 2

一句话总结

Swift for TensorFlow 是一个可移植的、灵活的深度学习平台，基于 Swift 的提前编译和语言内联自动微分构建，可在移动设备和数据中心集群中实现高效部署。它支持超过 30 种深度学习模型，展示了在各种环境中的可扩展性和实用性。

ABSTRACT

Swift for TensorFlow is a deep learning platform that scales from mobile devices to clusters of hardware accelerators in data centers. It combines a language-integrated automatic differentiation system and multiple Tensor implementations within a modern ahead-of-time compiled language oriented around mutable value semantics. The resulting platform has been validated through use in over 30 deep learning models and has been employed across data center and mobile applications.

研究动机与目标

• 创建一个可扩展的深度学习平台，可在移动设备和大规模数据中心集群中高效运行。
• 通过将自动微分直接集成到语言中，解决现有深度学习框架的局限性。
• 通过 Swift 的类型安全和可变值语义实现高性能、可移植的机器学习。
• 通过灵活的张量实现，支持广泛的模型和部署场景。

提出的方法

• 利用 Swift 的提前编译优化在各种硬件平台上的性能。
• 将自动微分直接集成到语言中，实现无缝的梯度计算。
• 支持多种张量实现，以在内存和性能之间实现灵活权衡。
• 利用 Swift 原生支持的可变值语义提升性能和表达力。
• 采用统一的抽象层管理从移动设备到数据中心加速器的张量。
• 在单一、静态类型的语言环境中实现端到端的模型开发和部署。

实验结果

研究问题

• RQ1 基于通用编程语言构建的深度学习平台能否实现与专用框架相当的性能和可移植性？
• RQ2 语言内联自动微分在异构硬件平台上的可扩展性如何？
• RQ3 静态类型、提前编译的语言在多大程度上能够满足深度学习对动态性和灵活性的需求？
• RQ4 统一的张量抽象能否实现在移动设备和数据中心环境中的高效部署？

主要发现

• Swift for TensorFlow 成功支持超过 30 种深度学习模型，证明了其广泛适用性。
• 该平台可在移动设备和数据中心集群中实现高效执行，证明了其可移植性。
• 语言内联自动微分简化了模型开发，同时保持了高性能。
• 利用 Swift 的提前编译实现了在各种硬件加速器上的性能优化。
• 多种张量实现允许根据内存和性能约束进行运行时自适应。
• 该平台已在真实世界的数据中心和移动应用中得到验证，确认了其实际可行性。