[论文解读] Serverless Data Analytics with Flint

Youngbin Kim, Jimmy Lin|arXiv (Cornell University)|Mar 16, 2018

Cloud Computing and Resource Management参考文献 5被引用 5

一句话总结

Flint 是一个无服务器的 Spark 执行引擎，通过使用 AWS Lambda 和 SQS 实现按需付费的大数据分析，通过将 PySpark 作业完全在无服务器函数中执行并将数据 shuffle 操作卸载到消息队列，消除了空闲成本。其主要贡献在于展示了具备透明 Spark 兼容性且无需持久化基础设施的可行、完全无服务器的分析处理。

ABSTRACT

Serverless architectures organized around loosely-coupled function invocations represent an emerging design for many applications. Recent work mostly focuses on user-facing products and event-driven processing pipelines. In this paper, we explore a completely different part of the application space and examine the feasibility of analytical processing on big data using a serverless architecture. We present Flint, a prototype Spark execution engine that takes advantage of AWS Lambda to provide a pure pay-as-you-go cost model. With Flint, a developer uses PySpark exactly as before, but without needing an actual Spark cluster. We describe the design, implementation, and performance of Flint, along with the challenges associated with serverless analytics.

研究动机与目标

• 通过纯按需付费的成本模型实现即席和探索性数据分析，避免传统 Spark 集群中常见的空闲基础设施费用。
• 解决在无服务器环境中实现数据 shuffle 的挑战，因为无状态函数无法维持持久存储。
• 通过重用现有的 Spark 组件和可插拔的 SchedulerBackend，提供透明的 Spark 体验，使开发人员无需管理集群即可使用 PySpark。
• 探索无服务器架构在分析工作负载中的可行性，这些工作负载与典型的事件驱动无服务器用例存在显著差异。
• 证明无服务器执行可以支持复杂、计算密集型的工作负载（如数据科学中的工作负载），而不仅限于简单的事件处理。

提出的方法

• 为 Spark 实现自定义的 SchedulerBackend，将 Spark 任务映射到 AWS Lambda 函数，实现 RDD 操作的无服务器执行。
• 使用 Amazon Simple Queue Service (SQS) 管理跨阶段的中间数据 shuffle，替代传统的内存或磁盘 shuffle。
• 将输入和输出数据存储在 Amazon S3 中，利用其持久性和可扩展性作为分析工作负载的持久数据存储。
• 重用现有的 Spark 组件（如 DAG 调度器和任务调度器），以保持与更广泛 Spark 生态系统的兼容性。
• 将数据移动和协调工作卸载到 SQS，其提供可靠、可扩展的消息队列服务，具有至少一次交付语义。
• 设计系统时避免任何持久性守护进程或长期运行的服务，确保无空闲成本并完全符合无服务器规范。

实验结果

研究问题

• RQ1 无服务器架构能否有效支持复杂、计算密集型的分析工作负载（如 Spark 中的工作负载），而不仅限于简单的事件驱动函数？
• RQ2 在无状态函数的无服务器环境中，如何高效且可靠地实现数据 shuffle（这对于 groupBy 和 join 等转换操作至关重要）？
• RQ3 与传统 Spark 集群相比，使用无服务器函数和消息队列进行分析处理在性能和成本之间存在怎样的权衡？
• RQ4 现有 Spark 库（如 MLlib、SparkSQL）在多大程度上可以与无服务器执行后端兼容？
• RQ5 是否可以在不牺牲性能或可靠性的情况下，实现完全的按需付费模型用于分析工作负载？

主要发现

• Flint 证明了无服务器架构可以支持完整的 Spark 分析工作负载，包括复杂的 RDD 转换和数据 shuffle。
• 使用 SQS 进行中间数据 shuffle 实现了可扩展的无状态数据移动，无需持久存储或长期运行的进程。
• 该系统实现了真正的按需付费模型，无空闲成本，因为执行仅按函数调用次数和数据传输量计费，而非按实例小时计费。
• 该架构保持了与 PySpark 的兼容性，使数据科学家可以无需修改现有代码即可使用，仅需更改配置以切换到无服务器后端。
• 尽管由于 Lambda 冷启动和消息队列 I/O 导致性能低于传统集群，但该权衡对于间歇性、探索性工作负载是合理的。
• 系统通过序列 ID 处理消息重复，确保在 SQS 的至少一次语义下仍能保持正确性，并通过重试机制使设计对单个函数故障具有弹性。