[论文解读] Opportunistic Advertisement Scheduling in Live Social Media: A Multiple Stopping Time POMDP Approach

Vikram Krishnamurthy, Anup Aprem+1 more|arXiv (Cornell University)|Nov 1, 2016

Consumer Market Behavior and Pricing参考文献 29被引用 3

一句话总结

本文提出了一种用于实时社交媒体中最佳机会性广告调度的多停止时间部分可观察马尔可夫决策过程（POMDP）框架，利用有噪声的观众人数观测值以最大化广告收入。该研究推导了最优策略的结构特性，并使用随机逼近法计算近似最优的线性阈值，实验证明在真实数据集上相比周期性调度，广告收入提升了20–30%。

ABSTRACT

Live online social broadcasting services like YouTube Live and Twitch have steadily gained popularity due to improved bandwidth, ease of generating content and the ability to earn revenue on the generated content. In contrast to traditional cable television, revenue in online services is generated solely through advertisements, and depends on the number of clicks generated. Channel owners aim to opportunistically schedule advertisements so as to generate maximum revenue. This paper considers the problem of optimal scheduling of advertisements in live online social media. The problem is formulated as a multiple stopping problem and is addressed in a partially observed Markov decision process (POMDP) framework. Structural results are provided on the optimal advertisement scheduling policy. By exploiting the structure of the optimal policy, best linear thresholds are computed using stochastic approximation. The proposed model and framework are validated on real datasets, and the following observations are made: (i) The policy obtained by the multiple stopping problem can be used to detect changes in ground truth from online search data (ii) Numerical results show a significant improvement in the expected revenue by opportunistically scheduling the advertisements. The revenue can be improved by $20-30\%$ in comparison to currently employed periodic scheduling.

研究动机与目标

• 解决实时社交媒体平台中广告收入最大化的挑战，其中收入取决于观众参与度和广告点击率。
• 将未观测到的观众参与度建模为隐马尔可夫过程，并利用有噪声的观众人数作为部分观测值。
• 将广告调度问题建模为多停止时间POMDP，以实现中段广告插入的最优时机控制。
• 推导最优策略的结构特性，包括单调性与阈值行为，以实现高效计算。
• 在真实数据集上验证所提方法，并展示其相对于周期性调度的显著收入增益。

提出的方法

• 将广告调度问题建模为多停止时间POMDP，其中隐状态为观众参与度，观测值为当前观众人数。
• 使用两状态马尔可夫链建模观众参与度，并假设通过观众人数对真实状态进行有噪声的观测。
• 利用动态规划递归推导价值函数，通过贝叶斯规则更新信念状态。
• 证明最优策略在信念状态上具有单调性，从而支持基于阈值的控制策略。
• 使用随机逼近法计算切换曲线的最佳线性阈值，以降低计算复杂度。
• 通过从极端信念状态出发的线段上的信念状态构建切换曲线，确保决策区域连通且单调。

实验结果

研究问题

• RQ1 当观众参与度不可观测，仅能获取有噪声的观众人数时，如何优化实时社交媒体中的广告调度？
• RQ2 在POMDP框架下，多轮广告插入的最优策略具有哪些结构特性？
• RQ3 能否通过随机逼近法与线性阈值，推导出最优策略的计算高效近似？
• RQ4 与周期性调度相比，机会性调度在真实直播场景中能多大程度提升广告收入？
• RQ5 该模型能否通过在线搜索与观众数据检测到真实状态的变化（如趋势事件）？

主要发现

• 广告调度的最优策略在信念状态上具有单调性，支持基于阈值的实现方式。
• 所提出的POMDP框架成功利用可观测的观众人数作为有噪声信号，对隐藏的观众参与度过程进行建模。
• 随机逼近法生成了近似最优的线性阈值，显著降低了计算复杂度，同时保持了性能。
• 数值结果表明，与周期性调度策略相比，期望广告收入提升了20–30%。
• 通过分析在线数据中观众参与度模式的变化，模型能够检测到真实状态的转变（如趋势事件）。
• 最优动作（插入广告或不插入）的切换曲线具有连通性与良好结构，有利于实际部署。