[论文解读] PBODL : Parallel Bayesian Online Deep Learning for Click-Through Rate Prediction in Tencent Advertising System

Xun Liu, Wei Xue+2 more|arXiv (Cornell University)|Jul 4, 2017

Recommender Systems and Techniques参考文献 13被引用 14

一句话总结

PBODL 提出了一种用于腾讯广告系统中点击率（CTR）预测的并行贝叶斯在线深度学习框架，通过使用假设高斯滤波的贝叶斯在线反向传播，实现快速且准确的模型更新。该框架在 FFM-MLP(Online) 模型上实现了最先进性能，在在线 A/B 测试中分别实现了 5.6% 的 CTR 提升和针对新广告的 25.6% CTR 提升，优于 DNN 和 FM 等批量模型。

ABSTRACT

We describe a parallel bayesian online deep learning framework (PBODL) for click-through rate (CTR) prediction within today's Tencent advertising system, which provides quick and accurate learning of user preferences. We first explain the framework with a deep probit regression model, which is trained with probabilistic back-propagation in the mode of assumed Gaussian density filtering. Then we extend the model family to a variety of bayesian online models with increasing feature embedding capabilities, such as Sparse-MLP, FM-MLP and FFM-MLP. Finally, we implement a parallel training system based on a stream computing infrastructure and parameter servers. Experiments with public available datasets and Tencent industrial datasets show that models within our framework perform better than several common online models, such as AdPredictor, FTRL-Proximal and MatchBox. Online A/B test within Tencent advertising system further proves that our framework could achieve CTR and CPM lift by learning more quickly and accurately.

研究动机与目标

• 解决大规模在线广告系统中，因广告和用户行为持续变化而带来的 CTR 模型快速更新挑战。
• 通过端到端深度学习与概率建模，减少对耗时特征工程的依赖。
• 通过高效的在线学习与并行训练，在支持每日数十亿样本训练的同时，保持低推理延迟（10ms）。
• 通过在线学习实现频繁的增量更新，提升新广告与稀有广告的模型性能。
• 利用参数服务器与流式计算基础设施，实现稳定且可扩展的训练。

提出的方法

• 采用通过假设高斯密度滤波进行贝叶斯在线学习的深度 Probit 回归模型，结合概率反向传播进行训练。
• 通过增强特征嵌入能力，将框架扩展至多个贝叶斯在线模型——稀疏-MLP、FM-MLP 和 FFM-MLP。
• 利用流式计算与参数服务器实现并行训练系统，以支持工业规模数据（每日数十亿样本）。
• 应用负采样并进行再校准：q = p / (p + (1−p)/w)，以平衡正负样本，目标正样本比例约为 0.1。
• 在切换到多线程在线更新前，使用单线程在近期数据（15–30 天）上进行预热训练，以提升稳定性。
• 通过方差回归实现权重衰减：v′ = (v·v_prior) / ((1−ε)·v_prior + ε·v)，防止模型权重收敛至零，维持学习能力。

实验结果

研究问题

• RQ1 在工业规模广告系统中，贝叶斯在线深度学习是否能够实现比批量训练更快、更准确的 CTR 预测？
• RQ2 与批量模型相比，采用概率反向传播的在线学习在新广告或稀有广告上的性能提升程度如何？
• RQ3 使用参数服务器的并行训练在支持每日数十亿样本的同时，能否保持低延迟？
• RQ4 通过再校准的负采样是否能在减少训练数据量的同时保持模型准确性，且不降低性能？
• RQ5 权重衰减与先验方差设置在在线设置下对长期模型稳定性和学习能力的影响如何？

主要发现

• FFM-MLP(Online) 模型在在线 A/B 测试中相比基线 DNN(Batch) 模型实现了 5.6% 的 CTR 提升。
• 在新广告上，FFM-MLP(Online) 实现了 25.6% 的 CTR 提升，显著优于 DNN(Batch) 模型的 11.86% 新广告覆盖率。
• FM-MLP(Online) 实现了 4.1% 的 CTR 提升，表现优于批量训练的 FM 和 DNN 模型。
• 在线模型每 15 分钟更新一次，能够更快适应新广告和活动变更，而批量模型每数小时才更新一次。
• 同时使用多数据流和每个小批量中多次 ADF/EP 迭代可提升性能，尽管伴随更高的运行风险。
• 该框架实现了稳定、可扩展的训练，推理延迟低至 10ms，适用于实时移动广告场景。