[论文解读] Revenue and Energy Efficiency-Driven Delay Constrained Computing Task Offloading and Resource Allocation in a Vehicular Edge Computing Network: A Deep Reinforcement Learning Approach

Xinyu Huang, Lijun He+3 more|arXiv (Cornell University)|Oct 16, 2020

IoT and Edge/Fog Computing参考文献 32被引用 5

一句话总结

本文提出了一种在车载边缘计算（VEC）中基于多智能体深度确定性策略梯度（JORA-MADDPG）算法的联合任务类型与车辆速度感知的卸载与资源分配策略。该策略通过在延迟约束下平衡能效与收益，优化了车辆效用，在不同速度和定价场景下均实现了比基线方法更低的任务完成延迟和更高的效用。

ABSTRACT

For in-vehicle application,task type and vehicle state information, i.e., vehicle speed, bear a significant impact on the task delay requirement. However, the joint impact of task type and vehicle speed on the task delay constraint has not been studied, and this lack of study may cause a mismatch between the requirement of the task delay and allocated computation and wireless resources. In this paper, we propose a joint task type and vehicle speed-aware task offloading and resource allocation strategy to decrease the vehicl's energy cost for executing tasks and increase the revenue of the vehicle for processing tasks within the delay constraint. First, we establish the joint task type and vehicle speed-aware delay constraint model. Then, the delay, energy cost and revenue for task execution in the vehicular edge computing (VEC) server, local terminal and terminals of other vehicles are calculated. Based on the energy cost and revenue from task execution,the utility function of the vehicle is acquired. Next, we formulate a joint optimization of task offloading and resource allocation to maximize the utility level of the vehicles subject to the constraints of task delay, computation resources and wireless resources. To obtain a near-optimal solution of the formulated problem, a joint offloading and resource allocation based on the multi-agent deep deterministic policy gradient (JORA-MADDPG) algorithm is proposed to maximize the utility level of vehicles. Simulation results show that our algorithm can achieve superior performance in task completion delay, vehicles' energy cost and processing revenue.

研究动机与目标

• 填补在车载边缘计算中建模任务类型与车辆速度对任务延迟约束联合影响的空白。
• 在延迟、计算与无线资源约束下，制定一个平衡能耗成本与处理收益的效用函数。
• 设计一个联合优化框架，用于任务卸载与资源分配，以在动态VEC环境中最大化车辆效用。
• 设计一种多智能体深度强化学习算法（JORA-MADDPG），实现实时、上下文感知的车载网络中的近似最优解。
• 通过在不同车辆速度与卸载定价模型下评估所提方法的性能，验证其鲁棒性与可扩展性。

提出的方法

• 建立一个显式结合任务类型与车辆速度的延迟约束模型，以反映现实世界的应用需求。
• 为三种卸载选项（本地执行、VEC服务器卸载、V2V卸载）建模任务完成延迟、能耗与处理收益。
• 将车辆效用函数定义为能耗成本节约与为其他车辆处理任务所获收益的加权组合。
• 将联合卸载与资源分配问题建模为带有延迟、计算与无线资源约束的马尔可夫决策过程（MDP）。
• 提出JORA-MADDPG算法，一种多智能体深度确定性策略梯度方法，以学习车辆间协调的卸载决策。
• 使用经验回放与目标网络训练JORA-MADDPG智能体，以在非平稳车载环境中稳定学习并提升收敛性。

实验结果

研究问题

• RQ1 在车载边缘计算中，联合考虑任务类型与车辆速度如何影响延迟约束？
• RQ2 在动态车辆移动环境下，任务卸载决策中能效与收益生成之间的最优权衡是什么？
• RQ3 所提出的JORA-MADDPG算法与基线方法（如DDPG、贪婪法、AL、AO）相比，在任务完成延迟与车辆效用方面表现如何？
• RQ4 不同卸载单位价格如何影响所提算法在延迟与效用方面的性能？
• RQ5 车辆速度范围对基于V2V的任务卸载频率与有效性及其最终效用有何影响？

主要发现

• 在所有测试场景下，JORA-MADDPG算法相比AL、AO、RD、Greedy与DDPG算法均实现了显著更低的平均任务完成延迟与更高的平均效用。
• 在车辆速度范围[30, 80] km/h内，效用最高，原因在于V2V卸载机会增加，低速车辆可高效处理高速车辆的任务。
• 当VEC服务器的卸载单位价格上升时，算法优先通过V2V通信将任务卸载至其他车辆，尽管延迟略有增加，但能提升收益。
• 当VEC卸载价格下降时，算法转向将任务卸载至VEC服务器，以降低延迟与能耗，表现出对定价的自适应敏感性。
• 该算法在所有卸载单位价格配置下均保持优越性能，展现出对动态定价与移动性条件的鲁棒性与适应性。
• 基于能耗成本与收益的效用函数实现了平衡优化，增强了VEC网络中车辆的可持续性与经济激励。