[论文解读] Serverless End Game: Disaggregation enabling Transparency

Pedro Garcı́a-López, Aleksander Slominski+3 more|arXiv (Cornell University)|Jun 1, 2020

Cloud Computing and Resource Management被引用 5

一句话总结

本文主张，在无服务器计算中，资源解耦可实现完全透明——使未经修改的单机代码能高效地在分布式、弹性云资源上运行。实验表明其性能与本地执行相当，作者识别出五个关键研究挑战，以实现普遍透明。

ABSTRACT

For many years, the distributed systems community has struggled to smooth the transition from local to remote computing. Transparency means concealing the complexities of distributed programming like remote locations, failures or scaling. For us, full transparency implies that we can compile, debug and run unmodified single-machine code over effectively unlimited compute, storage, and memory resources. We elaborate in this article why resource disaggregation in serverless computing is the definitive catalyst to enable full transparency in the Cloud. We demonstrate with two experiments that we can achieve transparency today over disaggregated serverless resources and obtain comparable performance to local executions. We also show that locality cannot be neglected for many problems and we present five open research challenges: granular middleware and locality, memory disaggregation, virtualization, elastic programming models, and optimized deployment. If full transparency is possible, who needs explicit use of middleware if you can treat remote entities as local ones? Can we close the curtains of distributed systems complexity for the majority of users?

研究动机与目标

• 通过消除应用开发者在分布式系统中的复杂性，实现云计算中的完全透明。
• 探究无服务器架构中的资源解耦是否能使未经修改的单机代码以本地执行的性能运行。
• 识别并解决阻碍云环境中完全透明性的开放研究挑战。
• 探索低延迟、解耦资源如何克服分布式系统中历史性的障碍，如延迟、并发性和部分故障。

提出的方法

• 利用云基础设施中的资源解耦，将计算、存储和内存解耦为可独立扩展的远程资源。
• 使用现有的无服务器原原子如函数即服务（FaaS）、云对象存储和消息系统作为实现透明执行的构建模块。
• 在解耦的无服务器资源上设计并评估两个实验——GEMM 和蒙特卡洛方法，以与本地执行进行性能对比。
• 扩展 LegoOS 和 Arrakis 系统，通过虚拟节点和直接 I/O 访问，支持对解耦硬件的透明、低延迟访问。
• 提出新一代虚拟化和中间件，支持细粒度、位置感知和弹性编程模型。
• 将可观测性、静态分析和机器学习集成到云编排中，以实现优化的部署和控制平面定制。

实验结果

研究问题

• RQ1 未经修改的单机应用在部署到解耦的无服务器云资源上时，能否实现与本地执行相当的性能？
• RQ2 在高度解耦、低延迟的云环境中，资源位置性在多大程度上仍影响性能？
• RQ3 阻碍云计算中完全透明性的关键技术挑战是什么，如何解决？
• RQ4 如何使编程模型在本地和分布式环境之间具备弹性与可移植性，同时不牺牲性能或透明性？
• RQ5 未来的云编排系统能否通过静态分析和机器学习实现‘编译到云’的优化，以实现成本与性能的提升？

主要发现

• 实验表明，远程执行在解耦的无服务器资源上可实现与本地执行相当的性能，验证了透明性的可行性。
• 尽管网络延迟较低，资源位置性在许多计算工作负载中仍是影响性能的关键因素，表明仅靠解耦不足以实现目标。
• 资源解耦，特别是结合微秒级低延迟 RPC，是实现云系统中完全透明性的决定性催化剂。
• 现有的虚拟化和中间件解决方案不足以实现完全透明，亟需新型的、细粒度且位置感知的中间件与运行时系统。
• 实现完全透明需要优化的部署流水线，包括静态分析和基于机器学习的编排，以实现成本与性能的优化。
• 将远程资源视为本地资源——即“无服务器超级计算机”的愿景——如今在技术上已可行，并已近在咫尺，前提是关键研究挑战得以解决。