[论文解读] Online Learning for Wireless Distributed Computing

Yi‐Hsuan Kao, Kwame-Lante Wright+2 more|arXiv (Cornell University)|Nov 9, 2016

Advanced Bandit Algorithms Research参考文献 13被引用 6

一句话总结

本文提出 MABSTA，一种新颖的在线学习算法，用于动态无线分布式计算环境中的任务分配。在不假设环境为随机性的对抗性多臂赌博机框架下，MABSTA 通过探索性探测自适应地学习设备与信道性能，实现了可证明的最坏情况性能保证，并在基于真实场景追踪的仿真中，表现出鲁棒且具有竞争力的性能，优于离线最优解与基线方法。

ABSTRACT

There has been a growing interest for Wireless Distributed Computing (WDC), which leverages collaborative computing over multiple wireless devices. WDC enables complex applications that a single device cannot support individually. However, the problem of assigning tasks over multiple devices becomes challenging in the dynamic environments encountered in real-world settings, considering that the resource availability and channel conditions change over time in unpredictable ways due to mobility and other factors. In this paper, we formulate a task assignment problem as an online learning problem using an adversarial multi-armed bandit framework. We propose MABSTA, a novel online learning algorithm that learns the performance of unknown devices and channel qualities continually through exploratory probing and makes task assignment decisions by exploiting the gained knowledge. For maximal adaptability, MABSTA is designed to make no stochastic assumption about the environment. We analyze it mathematically and provide a worst-case performance guarantee for any dynamic environment. We also compare it with the optimal offline policy as well as other baselines via emulations on trace-data obtained from a wireless IoT testbed, and show that it offers competitive and robust performance in all cases. To the best of our knowledge, MABSTA is the first online algorithm in this domain of task assignment problems and provides provable performance guarantee.

研究动机与目标

• 解决无线分布式计算中因移动性和工作负载变化导致设备资源与信道条件快速变化所带来的动态、不可预测的任务分配挑战。
• 设计一种无需对环境作随机性假设的在线学习算法，以实现对任意动态场景的鲁棒适应。
• 为对抗性、非平稳环境中的任务分配提供可证明的最坏情况性能保证。
• 通过实现低开销的实时自适应任务分配，提升移动、物联网及传感器网络中的协同计算能力。
• 利用无线物联网测试平台的真实追踪数据，将算法性能与最优离线策略及现有基线方法进行对比评估。

提出的方法

• 将任务分配问题建模为对抗性多臂赌博机（MAB）问题，以避免对环境平稳性的假设。
• 提出 MABSTA，一种轻量级在线学习算法，通过平衡探索（探测未知设备/信道）与利用（使用已学习知识）实现任务分配。
• 采用基于估计奖励的加权概率更新规则，学习率参数 α 的选择用于平衡遗憾与收敛性。
• 通过数学分析推导出最坏情况遗憾边界，确保性能始终在与最优离线策略的可证明差距范围内。
• 应用集中不等式与边界控制技术，以控制所有可能任务分配下奖励项的估计误差。
• 推导出依赖于系统参数（如设备数 N、边数 |E|，以及可能分配总数 M^N）的性能保证。

实验结果

研究问题

• RQ1 在高度动态的无线分布式计算环境中，若不假设环境平稳或随机，能否通过在线学习算法实现鲁棒的任务分配性能？
• RQ2 在对抗性、非平稳环境中，在线任务分配算法的最坏情况性能保证是什么？
• RQ3 在真实世界、追踪驱动的场景中，所提出的 MABSTA 算法与最优离线策略及现有基线方法相比表现如何？
• RQ4 MABSTA 在设备可用性与无线信道质量发生不可预测变化时，其适应能力如何？
• RQ5 在在线任务分配中，学习速度、计算复杂度与性能保证之间的权衡是什么？

主要发现

• MABSTA 实现了最坏情况遗憾边界 (e−1)γR_total^max + M(N+|E|M)ln(M^N)/γ，该边界可被证明且与环境假设无关。
• 在基于追踪的仿真中，该算法在所有测试场景下均表现出竞争性与鲁棒性，尤其在动态条件下优于基线方法。
• 即使环境随时间以对抗性方式变化，MABSTA 仍能相对于最优离线策略提供可证明的性能保证。
• 由于其轻量化设计，该算法性能稳定且可扩展，计算与存储开销均较低。
• 实验结果表明，MABSTA 通过探索性探测有效学习设备与信道性能，从而实现接近最优的任务分配决策。
• 理论分析证实，即使在缺乏对环境随机性假设的前提下，MABSTA 也能在有界遗憾范围内收敛至解。