[论文解读] Online Learning in Decentralized Multiuser Resource Sharing Problems

Cem Tekin, Mingyan Liu|arXiv (Cornell University)|Oct 19, 2012

Advanced Bandit Algorithms Research参考文献 25被引用 4

一句话总结

本文提出了一种分布式在线学习算法，用于在奖励和拥塞效应未知且时变的条件下，实现去中心化的多用户资源共享。通过仅对用户拥塞情况进行有限反馈或以较高成本通信用户特定奖励，该算法在存在计算、切换和通信成本的情况下，仍能相对于最优静态分配实现对数 regret，且在独立同分布（i.i.d.）和马尔可夫奖励模型下均成立。

ABSTRACT

In this paper, we consider the general scenario of resource sharing in a decentralized system when the resource rewards/qualities are time-varying and unknown to the users, and using the same resource by multiple users leads to reduced quality due to resource sharing. Firstly, we consider a user-independent reward model with no communication between the users, where a user gets feedback about the congestion level in the resource it uses. Secondly, we consider user-specific rewards and allow costly communication between the users. The users have a cooperative goal of achieving the highest system utility. There are multiple obstacles in achieving this goal such as the decentralized nature of the system, unknown resource qualities, communication, computation and switching costs. We propose distributed learning algorithms with logarithmic regret with respect to the optimal allocation. Our logarithmic regret result holds under both i.i.d. and Markovian reward models, as well as under communication, computation and switching costs.

研究动机与目标

• 设计一种分布式学习算法，以在不确定性条件下实现去中心化多用户资源共享中的最优 regret 性能。
• 解决在缺乏完全协调的情况下，对未知且时变的资源质量以及用户引起的拥塞的挑战。
• 即使存在通信、计算和切换成本，也实现在独立同分布（i.i.d.）和马尔可夫奖励模型下的对数 regret。
• 支持认知无线电网络等实际应用，其中用户需以最小反馈学习最优信道接入方式。
• 确保在去中心化决策和信息不对称的情况下，收敛至近似最优系统效用。

提出的方法

• 采用多臂赌博机框架，其中每个资源被视为一个臂，其奖励取决于同时使用该资源的用户数量。
• 引入有限反馈机制：每个用户仅能观测到同一资源上的用户数量，而无法观测其他用户的行为。
• 在用户特定奖励且需通信的情况下，用户以一定成本共享观测结果，从而实现对最优分配的估计。
• 采用随时间增加的动态探索常数 L(t)，以确保在不预先知晓次优性差距的情况下，实现准确的奖励估计。
• 设计利用与探索阶段，用户根据估计的奖励和拥塞水平切换资源。
• 引入补贴机制，以在存在多个最优分配时打破选择歧义，确保收敛至一致的最优选择。

实验结果

研究问题

• RQ1 在奖励未知且时变的去中心化多用户资源共享系统中，能否实现对数 regret？
• RQ2 当用户无法直接通信，仅能观测拥塞反馈时，如何实现接近最优的系统效用？
• RQ3 通信、计算和切换成本对分布式在线学习中 regret 性能有何影响？
• RQ4 当次优性差距未知时，算法能否维持对数 regret？
• RQ5 当存在多个最优分配时，用户如何收敛至一致的最优分配？

主要发现

• 所提出的算法在独立同分布（i.i.d.）和马尔可夫奖励模型下，相对于最优静态分配，均实现了 O(log T) 的 regret。
• 即使存在通信、计算和切换成本，regret 仍保持对数级别，表明对实际约束具有鲁棒性。
• 当次优性差距未知时，采用随时间增加的探索常数 L(t)，可实现 O(L(t) log T) 的 regret，接近对数级别。
• 补贴机制确保用户能在有限期望时间内收敛至多个最优分配中的一个，即使存在多个最优分配。
• 在动态频谱接入应用中的数值结果证实，该算法能以最小反馈实现高系统效用，具有有效性。
• 当用户具有用户特定奖励且必须以成本通信时，只要已知性能差距的下界，算法仍能保持对数 regret。