[论文解读] Online Learning of Dynamic Parameters in Social Networks

Shahin Shahrampour, Sasha Rakhlin+1 more|arXiv (Cornell University)|Oct 1, 2013

Advanced Bandit Algorithms Research参考文献 19被引用 27

一句话总结

本文提出了两种针对社交网络中动态变化状态的在线学习算法，其中个体通过几何随机游走演化来估计状态。通过不同地分解全局损失函数，一种估计器实现了最优均方偏差（MSD），优于先前工作，并在特定条件下接近集中式卡尔曼滤波器的性能，同时遗憾值以 O(1/√T) 的速率衰减。

ABSTRACT

This paper addresses the problem of online learning in a dynamic setting. We consider a social network in which each individual observes a private signal about the underlying state of the world and communicates with her neighbors at each time period. Unlike many existing approaches, the underlying state is dynamic, and evolves according to a geometric random walk. We view the scenario as an optimization problem where agents aim to learn the true state while suffering the smallest possible loss. Based on the decomposition of the global loss function, we introduce two update mechanisms, each of which generates an estimate of the true state. We establish a tight bound on the rate of change of the underlying state, under which individuals can track the parameter with a bounded variance. Then, we characterize explicit expressions for the steady state mean-square deviation(MSD) of the estimates from the truth, per individual. We observe that only one of the estimators recovers the optimal MSD, which underscores the impact of the objective function decomposition on the learning quality. Finally, we provide an upper bound on the regret of the proposed methods, measured as an average of errors in estimating the parameter in a finite time.

研究动机与目标

• 建立并求解社交网络中分布式在线学习的模型，其中底层状态通过几何随机游走演化。
• 分析网络结构与状态动态如何影响去中心化、时变环境下的学习性能。
• 在不同损失函数分解方式下，表征个体估计值与真实状态之间稳态均方偏差（MSD）的特性。
• 为所提出的在线学习算法建立有限时间遗憾界，衡量累积估计误差。
• 研究网络拓扑结构（尤其是边的增加）对学习质量的影响，并识别出能最小化 MSD 的最优连接。

提出的方法

• 将社交学习问题建模为一个随机优化任务，通过最小化带邻近正则化的全局二次损失函数来实现。
• 提出两种将全局损失分解为局部分量的独立方式，从而导出两种信念更新机制：一种使用邻居平均先验，另一种则结合邻居的观测信息。
• 推导出每个个体的稳态均方偏差（MSD）的显式表达式，表明其依赖于通信矩阵的完整特征谱。
• 利用矩阵集中不等式推导出遗憾的上界，遗憾定义为有限时间 T 内的平均估计误差，表明其衰减速率为 O(1/√T)。
• 通过将边的增加建模为对通信矩阵的扰动，分析网络稀疏性的影响，利用谱分解量化 MSD 的变化。
• 识别出能使 MSD 减少最优的边，证明当连接具有高自依赖性且共同邻居最少的个体时，该边最为有益。

实验结果

研究问题

• RQ1 全局损失函数的分解方式如何影响动态社交网络中分布式在线学习的最优性？
• RQ2 在何种条件下，底层状态的变化率 |a| 的上界仍能保证估计方差有界？
• RQ3 在何种条件下，所提出的两种估计器之一可实现最优均方偏差（MSD），并接近集中式卡尔曼滤波器的性能？
• RQ4 网络结构（特别是连通性和边配置）如何影响个体估计的稳态 MSD？
• RQ5 所提算法的有限时间遗憾是多少，其随时间 T 的变化规律如何？

主要发现

• 所提出的两种估计器之一实现了最优稳态均方偏差（MSD），优于先前工作的上界，并在特定条件下接近集中式卡尔曼滤波器的性能。
• 稳态 MSD 取决于通信矩阵的完整特征谱，凸显了网络结构在渐近学习质量中的关键作用。
• 所提算法的遗憾以 O(1/√T) 的速率衰减，提供了有限时间性能保证，与渐近 MSD 分析形成互补。
• 向网络中增加任意一条边都会单调减少 MSD，表明每条连接都能提升学习质量。
• 使 MSD 减少最优的边是连接具有高自依赖性且共同邻居最少的两个个体的边，该结论通过谱扰动分析得到证明。
• 完全连通网络与断连网络之间 MSD 的比值始终小于 1，且在特定约束下可趋近于零，充分展示了网络连通性的强大作用。