[论文解读] Serverless Computing: One Step Forward, Two Steps Back

Joseph M. Hellerstein, Jose M. Faleiro+5 more|arXiv (Cornell University)|Dec 10, 2018

Peer-to-Peer Network Technologies参考文献 16被引用 176

一句话总结

本文认为当前的无服务器（FaaS）产品在实现自动扩展方面有所推进，但在数据处理和分布式计算上严重受限，限制了云创新，并提出未来更强大平台的关键挑战。

ABSTRACT

Serverless computing offers the potential to program the cloud in an autoscaling, pay-as-you go manner. In this paper we address critical gaps in first-generation serverless computing, which place its autoscaling potential at odds with dominant trends in modern computing: notably data-centric and distributed computing, but also open source and custom hardware. Put together, these gaps make current serverless offerings a bad fit for cloud innovation and particularly bad for data systems innovation. In addition to pinpointing some of the main shortfalls of current serverless architectures, we raise a set of challenges we believe must be met to unlock the radical potential that the cloud---with its exabytes of storage and millions of cores---should offer to innovative developers.

研究动机与目标

• 评估基于 FaaS 的无服务器平台如何与数据密集型和分布式系统的需求对齐。
• 识别当前无服务器产品中的核心架构与性能差距。
• 展示这些差距如何限制现实世界的数据处理、机器学习和分布式计算。
• 提出高层次的挑战与方向，以超越简单的尴尬并行任务，释放云规模创新。

提出的方法

• 对现有 FaaS 基础设施进行调查（重点是 AWS Lambda）及其架构约束。
• 对 Lambda 与基于传统虚拟机的方法在数据密集型任务（如模型训练）上的经验性案例研究比较。
• 对典型无服务器工作流的延迟、带宽和数据移动开销进行表征。
• 在当前 FaaS 限制下对分布式计算模式（事件驱动与消息传递）进行分析。
• 讨论对硬件加速、开源生态系统以及未来研究方向的影响。

实验结果

研究问题

• RQ1 当代 FaaS/无服务器平台在数据密集型工作负载方面存在哪些主要的架构与性能限制？
• RQ2 这些限制如何影响机器学习训练、预测服务与分布式计算等现实任务？
• RQ3 有哪些机会可以重新设计云编程模型，以在规模上更好地利用数据与分布式系统？
• RQ4 无服务器平台的约束会推动健康的创新，还是会将用户锁定在专有服务中？

主要发现

• FaaS 平台实现了自动扩展，但由于数据传输架构和不可寻址、短生命周期的函数，限制了数据处理和分布式计算。
• 经验性案例研究表明，在大数据集上，基于 Lambda 的模型训练比 EC2 慢得多、成本更高（如引文实验中慢了 21×、花费多出 7.3×）。
• 无服务器环境中的预测服务可能比服务器ful 等价物慢几个数量级，数据批处理和数据移动放大了延迟和成本。
• 直接的、网络化的低延迟函数间通信不被支持，数据被迫流经慢速存储系统，阻碍细粒度的分布式协议。
• 当前的无服务器基础设施倾向于将用户锁定在提供商特定的服务中，削弱开源数据系统的创新。
• 作者提出了一个更广泛的论点，即无服务器应该从仅单一函数自动扩展转向集成的云编程模型，使计算和数据共驻点并支持分布式协调。