[论文解读] Stochastic bandits on a social network: Collaborative learning with local information sharing.

Ravi Kumar Kolla, Krishna Jagannathan+1 more|arXiv (Cornell University)|Feb 29, 2016

Advanced Bandit Algorithms Research参考文献 11被引用 3

一句话总结

本文研究社交网络中的协作多臂赌博机学习，其中代理与邻居共享奖励。研究发现，单代理策略的简单扩展因非利他行为而失败，但利用网络结构——尤其是星型拓扑——可使中心节点充当信息汇聚点，显著降低遗憾值。

ABSTRACT

We consider a collaborative online learning paradigm, wherein a group of agents connected through a social network are engaged in learning a Multi-Armed Bandit problem. Each time an agent takes an action, the corresponding reward is instantaneously observed by the agent, as well as its neighbours in the social network. We perform a regret analysis of various policies in this collaborative learning setting. A key finding of this paper is that appropriate network extensions of widely-studied single agent learning policies do not perform well in terms of regret. In particular, we identify a class of non-altruistic and individually consistent policies, which could suffer a large regret. We also show that the regret performance can be substantially improved by exploiting the network structure. Specifically, we consider a star network, which is a common motif in hierarchical social networks, and show that the hub agent can be used as an information sink, to aid the learning rates of the entire network. We also present numerical experiments to corroborate our analytical results.

研究动机与目标

• 分析代理通过社交网络与邻居共享奖励时，协作多臂赌博机学习中的遗憾性能。
• 研究标准单代理赌博机策略在具有本地信息共享的网络化协作设置中是否具有良好泛化能力。
• 识别社交网络中可提升学习效率并降低遗憾的结构特性。
• 展示如何利用网络拓扑结构——尤其是星型配置——以改善集体学习。

提出的方法

• 形式化一种协作学习模型，其中社交网络中的代理不仅观察自身行动的奖励，也观察邻居行动的奖励。
• 分析在信息共享网络环境下，各种策略（包括非利他策略和个体一致策略）的遗憾性能。
• 提出一种考虑本地信息共享的赌博机策略网络扩展，重点关注星型结构网络。
• 设计一种策略，使星型网络中的中心代理聚合并分发信息，作为信息汇聚点以加速学习。
• 使用遗憾分析比较不同策略类型和网络拓扑下的性能表现。
• 通过数值实验验证理论发现：通过结构化信息共享可实现遗憾值降低。

实验结果

研究问题

• RQ1 标准单代理赌博机策略在具有本地信息共享的协作设置中是否能有效泛化？
• RQ2 社交网络的结构如何影响协作赌博机学习中的集体遗憾？
• RQ3 星型网络中的中心代理能否作为有效的信息汇聚点，以提升整个网络的学习速率？
• RQ4 在个体一致的前提下，哪些策略在协作网络设置中仍会导致高遗憾？
• RQ5 在去中心化学习中，网络拓扑在多大程度上可被利用以降低集体遗憾？

主要发现

• 将单代理赌博机策略简单扩展至网络化设置，可能导致高遗憾，原因在于非利他行为。
• 一类非利他但个体一致的策略在协作赌博机学习中表现出较差的集体性能。
• 星型网络中的中心代理可作为信息汇聚点，显著提升网络整体的学习效率。
• 利用网络结构——特别是星型拓扑——相比无结构或简单策略扩展，可实现集体遗憾的显著降低。
• 数值实验证实，通过中心代理实现的结构化信息共享可带来更快收敛和更低遗憾。