[论文解读] Multiple Workflows Scheduling in Multi-tenant Distributed Systems: A Taxonomy and Future Directions

Muhammad Hafizhuddin Hilman, Maria A. Rodriguez+1 more|arXiv (Cornell University)|Sep 14, 2018

Cloud Computing and Resource Management被引用 6

一句话总结

本文提出了一种针对多租户分布式系统中多工作流调度的全面分类法与综述，聚焦于工作负载异构性、资源供给、公平性及服务质量（QoS）等方面的挑战。该文基于调度目标、运行环境和多租户支持等维度对现有算法进行分类，识别出研究空白，并为云与网格平台中可扩展、高效且安全的工作流编排研究指明了未来方向。

ABSTRACT

The workflow is a general notion representing the automated processes along with the flow of data. The automation ensures the processes being executed in the order. Therefore, this feature attracts users from various background to build the workflow. However, the computational requirements are enormous and investing for a dedicated infrastructure for these workflows is not always feasible. To cater to the broader needs, multi-tenant platforms for executing workflows were began to be built. In this paper, we identify the problems and challenges in the multiple workflows scheduling that adhere to the platforms. We present a detailed taxonomy from the existing solutions on scheduling and resource provisioning aspects followed by the survey of relevant works in this area. We open up the problems and challenges to shove up the research on multiple workflows scheduling in multi-tenant distributed systems.

研究动机与目标

• 识别并分析在多租户分布式系统中调度多个科学工作流与大数据工作流的核心挑战。
• 应对管理异构工作负载、多样化QoS需求以及多租户间资源竞争的复杂性。
• 提出一种结构化的分类法，基于关键维度（如调度目标、运行环境、多租户支持）对现有调度算法进行分类。
• 综述并归类文献中的现有解决方案，以突出研究空白并指导可扩展且高效的调度工作流研究。
• 在多租户平台中开启公平性、能效、隐私保护以及与物联网集成的工作流调度等新研究方向。

提出的方法

• 基于调度目标（如完成时间、成本、能耗）、运行环境（云、网格、集群）以及多租户特性，构建多维分类法。
• 将文献中15种以上的现有工作流调度算法归入所提出的分类法中，以映射当前研究趋势与研究空白。
• 分析基于列表的启发式算法（如MOHEFT、DPDS）以及多目标优化技术，以实现对多个工作流的并行调度。
• 评估资源供给策略，包括动态扩展、虚拟化开销管理以及基础设施级优化技术（如在线迁移）。
• 回顾隐私感知与安全集成的调度方法，包括同态加密与混合云执行模型。
• 探索新兴工作负载（如物联网与数据密集型工作流），强调网络感知与低延迟调度需求。

实验结果

研究问题

• RQ1 在多租户分布式系统中调度多个异构工作流的关键挑战是什么？
• RQ2 现有调度算法如何在共享环境中应对多目标优化（如成本、完成时间、能耗）？
• RQ3 当前研究在公平性、隔离性以及多租户间QoS保障方面存在哪些关键空白？
• RQ4 如何在不降低性能的前提下，有效将隐私与安全集成到多工作流调度中？
• RQ5 在多租户平台中，物联网与实时数据分析等新兴工作流具有哪些独特的调度需求？

主要发现

• 现有分类法大多聚焦于单工作流或非多租户场景，导致在多租户、多工作流环境中的全面分类仍存在显著空白。
• 基于列表的启发式算法（如MOHEFT、DPDS）在多工作流环境中展现出轻量级、可扩展调度的潜力，因其预处理开销较低。
• 能耗效率调度正越来越多地通过智能负载分配在工作负载层面实现，但基础设施级技术（如在线迁移）仍利用不足。
• 隐私感知调度仍发展不足，多数解决方案集中于单工作流或成本-安全权衡，而非多租户执行中的数据机密性保障。
• 物联网与网络密集型工作流需要优先考虑带宽与延迟的专用调度模型，但当前框架常忽视这些需求。
• 迫切需要集成化、自适应的调度框架，以支持动态资源供给、多目标优化以及跨层关注点（安全、能耗、性能）在真实多租户系统中的实现。