[论文解读] Online Competitive Influence Maximization

Jinhang Zuo, Xutong Liu+3 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Bandit Algorithms Research参考文献 32被引用 5

一句话总结

本文提出了在线竞争影响最大化（OCIM）这一新问题，其中两个竞争项目在影响概率未知的社会网络中传播。提出三种算法——OCIM-TS、OCIM-OFU 和 OCIM-ETC——采用组合多臂赌博机框架，引入非单调触发条件，在缺乏竞争扩散单调性的情况下，实现了对数尺度的贝叶斯后悔和频率学派后悔。

ABSTRACT

Online influence maximization has attracted much attention as a way to maximize influence spread through a social network while learning the values of unknown network parameters. Most previous works focus on single-item diffusion. In this paper, we introduce a new Online Competitive Influence Maximization (OCIM) problem, where two competing items (e.g., products, news stories) propagate in the same network and influence probabilities on edges are unknown. We adopt a combinatorial multi-armed bandit (CMAB) framework for OCIM, but unlike the non-competitive setting, the important monotonicity property (influence spread increases when influence probabilities on edges increase) no longer holds due to the competitive nature of propagation, which brings a significant new challenge to the problem. We provide a nontrivial proof showing that the Triggering Probability Modulated (TPM) condition for CMAB still holds in OCIM, which is instrumental for our proposed algorithms OCIM-TS and OCIM-OFU to achieve sublinear Bayesian and frequentist regret, respectively. We also design an OCIM-ETC algorithm that requires less feedback and easier offline computation, at the expense of a worse frequentist regret bound. Experimental evaluations demonstrate the effectiveness of our algorithms.

研究动机与目标

• 解决在边上的影响概率未知的竞争社交网络中最大化影响传播的挑战。
• 将在线竞争影响最大化（OCIM）问题形式化为一种组合多臂赌博机（CMAB）问题，其中动作是种子节点集合，反馈为完全或部分传播。
• 克服由于项目间竞争导致的影响传播单调性失效的问题，该问题使标准UCB方法失效。
• 在非单调性下建立触发概率调制（TPM）条件，使竞争环境下CMAB的后悔分析成为可能。
• 设计三种具有不同权衡的算法：OCIM-TS（在有先验时表现良好的贝叶斯后悔）、OCIM-OFU（在无先验时实现强频率学派后悔）和OCIM-ETC（减少反馈但后悔性能更差）。

提出的方法

• 将带有触发动作的上下文组合多臂赌博机框架（C²MAB-T）适配用于建模OCIM，其中动作为种子节点集合，反馈为完全或部分传播。
• 提出竞争独立级联（CIC）模型，以捕捉具有相互干扰的并发竞争传播过程。
• 证明尽管存在非单调性，TPM条件在OCIM中依然成立，通过新颖的分析技术实现后悔界。
• 开发OCIM-TS，采用贝叶斯抽样（Thompson Sampling）与一般先验，利用后验更新和TPM条件控制贝叶斯后悔。
• 设计OCIM-OFU，采用置信上界方法并结合离线预言机，实现分布相关和分布无关的频率学派后悔界。
• 提出OCIM-ETC作为探索-然后-承诺的变体，仅需直接边反馈和标准离线预言机，且对动作覆盖性的条件要求更宽松。

实验结果

研究问题

• RQ1 在线影响最大化能否扩展到两个项目在传播过程中相互干扰的竞争场景？
• RQ2 影响传播的标准单调性属性在竞争传播中是否仍然成立？这对基于赌博机的学习有何影响？
• RQ3 在非单调竞争影响模型中，触发概率调制（TPM）条件是否仍可保持，以支持后悔分析？
• RQ4 在在线竞争影响最大化中，反馈需求、计算复杂度与后悔性能之间的权衡是什么？
• RQ5 现有CMAB算法能否被适配到具有非单调影响动态的竞争场景中，同时保持次线性后悔？

主要发现

• 本文证明，尽管缺乏单调性，TPM条件在OCIM中依然成立，从而支持竞争环境下CMAB的后悔分析。
• OCIM-TS 实现了贝叶斯后悔 $ O( extstyle ext{BayesReg}_{ ext{OCIM}}(T) ext{ such that } ext{BayesReg}_{ ext{OCIM}}(T) ext{ is } O( ext{poly}(T) ext{polylog}(T)) $，其界涉及 $ C $、$ m $、$ K $ 和 $ T $，且适用于任意预言机。
• OCIM-OFU 实现了频率学派后悔界 $ O( extstyle ext{Reg}_{ ext{OCIM}}(T;m{ u}) ext{ is } O( ext{poly}(T) ext{polylog}(T)) $，包含分布相关和分布无关形式。
• OCIM-ETC 实现了分布无关的频率学派后悔界 $ O(C^{2/3}m^{4/3}k^{-1/3}T^{2/3}( ext{ln}T)^{1/3}) $，反馈需求减少，且使用标准离线预言机。
• 理论分析表明，只要满足TPM条件，即使在竞争干扰下，非单调性也不会阻碍次线性后悔。
• 实验评估表明，三种算法在学习未知边概率的同时，均能有效实现高累计影响传播。