[论文解读] Using Neural Networks for Click Prediction of Sponsored Search

Afroze Ibrahim Baqapuri, Ilya Trofimov|arXiv (Cornell University)|Dec 20, 2014

Web Data Mining and Analysis参考文献 11被引用 11

一句话总结

本文提出了一种用于信息流广告点击率预测的两阶段点击预测系统，结合前馈神经网络（ANNs）与梯度提升决策树（MatrixNet），以提升点击率（CTR）估计效果。通过使用 ANNs 对稀疏、高维的基于 ID 的特征进行建模，并将输出结果输入 MatrixNet，该方法在基线 MatrixNet 系统上实现了 0.22% 的对数似然提升和 0.48% 的 auPRC 提升，表明在大规模数据下取得了显著性能增益。

ABSTRACT

Sponsored search is a multi-billion dollar industry and makes up a major source of revenue for search engines (SE). click-through-rate (CTR) estimation plays a crucial role for ads selection, and greatly affects the SE revenue, advertiser traffic and user experience. We propose a novel architecture for solving CTR prediction problem by combining artificial neural networks (ANN) with decision trees. First we compare ANN with respect to other popular machine learning models being used for this task. Then we go on to combine ANN with MatrixNet (proprietary implementation of boosted trees) and evaluate the performance of the system as a whole. The results show that our approach provides significant improvement over existing models.

研究动机与目标

• 提升信息流广告中点击率（CTR）预测的性能，这是搜索引擎收入与广告相关性的重要组成部分。
• 评估人工神经网络（ANNs）在建模广告点击预测中常见的稀疏、高维基于 ID 特征方面的有效性。
• 将 ANNs 集成到 Yandex 现有的基于 MatrixNet 的 CTR 预测流程中，并评估性能提升效果。
• 研究训练数据规模与集成方法对 ANNs 在此场景下性能的影响。

提出的方法

• 系统采用两阶段架构：首先，ANN 通过 1-of-k 编码和基于特征频率阈值的降维方法，处理原始的稀疏基于 ID 的特征（如用户、广告、查询、关键词 ID）。
• ANN 的嵌入层学习高维稀疏特征的稠密表示，随后输入到具有 ReLU 激活函数的前馈网络中。
• ANN 的输出作为附加输入特征输入 MatrixNet，一种已在 Yandex 生产环境中部署的梯度提升决策树模型。
• 通过使用不同随机初始化训练多个网络并平均其预测结果，构建由六个 ANNs 组成的集成模型，以提升鲁棒性与性能。
• 模型使用交叉熵损失函数配合 L2 正则化进行训练，并通过随机梯度下降进行优化。
• 性能通过对数似然（NLL）和精确率-召回率曲线下面积（auPRC）进行评估，数据集按 70% 训练集、20% 验证集和 10% 测试集进行划分。

实验结果

研究问题

• RQ1 前馈神经网络能否有效建模信息流广告点击预测中的稀疏、高维基于 ID 的特征？
• RQ2 在 CTR 预测中，ANNs 的性能与传统线性模型（如逻辑回归）相比如何？
• RQ3 将 ANNs 与梯度提升决策树（MatrixNet）结合，是否能带来相对于现有 MatrixNet 单一系统的可测量性能提升？
• RQ4 训练数据规模如何影响 ANNs 与逻辑回归之间的性能差距？
• RQ5 在低层次、高变异性的特征空间中，集成方法是否能进一步增强 ANNs 的预测能力？

主要发现

• 六个 ANNs 的集成模型相比单个 ANNs 实现了 0.24% 的对数似然提升和 1.15% 的 auPRC 提升，证明了集成学习的优势。
• 将 ANNs 的输出作为 MatrixNet 的附加输入特征，相比仅使用原始特征的基线 MatrixNet，实现了 0.22% 的对数似然提升和 0.48% 的 auPRC 提升。
• 随着训练数据规模的增加，ANNs 的表现优于逻辑回归，且性能差距持续扩大，表明 ANNs 更能有效利用大规模数据。
• 在小规模训练数据下，逻辑回归的表现优于单个 ANNs，但随着数据量增加，ANNs 的表现超越了逻辑回归。
• 结果表明，完整系统（ANN + MatrixNet）相比现有生产模型具有统计显著的性能提升，其中 0.22% 的对数似然增益在实际应用中被认为具有重要意义。