[论文解读] Resource Provisioning and Profit Maximization for Transcoding in Information Centric Networking

Guanyu Gao, Yonggang Wen+1 more|arXiv (Cornell University)|May 18, 2016

Caching and Content Delivery参考文献 4被引用 4

一句话总结

本文提出了一种用于云环境视频转码系统中联合任务调度与动态资源供应的双时标随机优化框架，采用深度强化学习以最大化服务利润。通过联合优化虚拟机分配与任务优先级，利用学习到的策略，该方法在利润和资源消耗方面均优于基线方法。

ABSTRACT

Adaptive bitrate streaming (ABR) has been widely adopted to support video streaming services over heterogeneous devices and varying network conditions. With ABR, each video content is transcoded into multiple representations in different bitrates and resolutions. However, video transcoding is computing intensive, which requires the transcoding service providers to deploy a large number of servers for transcoding the video contents published by the content producers. As such, a natural question for the transcoding service provider is how to provision the computing resource for transcoding the video contents while maximizing service profit. To address this problem, we design a cloud video transcoding system by taking the advantage of cloud computing technology to elastically allocate computing resource. We propose a method for jointly considering the task scheduling and resource provisioning problem in two timescales, and formulate the service profit maximization as a two-timescale stochastic optimization problem. We derive some approximate policies for the task scheduling and resource provisioning. Based on our proposed methods, we implement our open source cloud video transcoding system Morph and evaluate its performance in a real environment. The experiment results demonstrate that our proposed method can reduce the resource consumption and achieve a higher profit compared with the baseline schemes.

研究动机与目标

• 为在云环境中高效地为视频转码分配计算资源，同时最大化服务提供商利润。
• 在快速（任务级）与慢速（资源级）时标上联合优化任务调度与资源供应。
• 在动态且不可预测的工作负载下，减少资源浪费与处理延迟。
• 开发一个实用的开源系统（Morph），在真实世界条件下实现并评估所提出的优化框架。

提出的方法

• 将利润最大化问题建模为双时标马尔可夫决策过程（MDP），其中快速时标用于任务调度，慢速时标用于资源供应。
• 采用基于深度Q网络（DQN）的强化学习方法，学习任务调度与虚拟机分配的最优策略。
• 引入神经网络模型以估算每个视频块的转码时间，从而在工作负载波动的情况下提升调度精度。
• 在快速时标使用基于价值的任务调度（VBS）策略，在慢速时标使用基于学习的资源供应（LRP）策略。
• 将系统实现为名为Morph的开源工具，并在真实云基础设施上进行部署与评估。
• 采用混合策略：LRP-VBS，结合基于学习的资源供应与基于价值的任务调度，以实现最优性能。

实验结果

研究问题

• RQ1 在时变工作负载下，如何在基于云的视频转码中动态地供应计算资源以最大化服务利润？
• RQ2 在转码系统中，不同时间尺度下任务调度与资源分配的最优联合策略是什么？
• RQ3 准确的转码时间估计如何提升调度效率与利润？
• RQ4 基于强化学习的策略在多大程度上优于固定策略或启发式策略的供应与调度方法？
• RQ5 真实世界系统实现能否证明所提出的优化框架在可扩展性与盈利能力方面的优势？

主要发现

• 所提出的LRP-VBS策略在24小时内实现的累积服务利润高于所有基线方法，包括固定策略（FP）、基于到达率的策略（ARP）以及LRP-HVF。
• LRP-VBS策略能有效根据工作负载变化调整活动虚拟机实例数量，在低流量时段减少资源浪费。
• 系统在保持高吞吐量的同时降低了资源消耗，展示了对云基础设施的高效利用。
• 基于学习的资源供应策略优于ARP方法，因为它考虑了因处理延迟导致的收入损失，而ARP忽略了这一点。
• 在快速时标下，VBS任务调度策略优于HVF（最高价值优先），从而提升了LRP-VBS的整体利润。
• 基于神经网络的转码时间估计器提高了调度精度，从而实现了对虚拟机工作负载与资源分配的更好预测。