[论文解读] Product-based Neural Networks for User Response Prediction

Yanru Qu, Han Cai+5 more|arXiv (Cornell University)|Nov 1, 2016

Text and Document Classification Technologies参考文献 9被引用 52

一句话总结

本文提出基于产品的神经网络（PNNs）用于在线广告中的用户响应预测，利用嵌入层表示类别特征，并通过基于内积或外积的乘积层显式建模跨字段特征交互。PNNs 在两个大规模点击率（CTR）预测数据集上优于最先进模型，展现出在 AUC 和 RIG 等多个指标上的优越性能。

ABSTRACT

Predicting user responses, such as clicks and conversions, is of great importance and has found its usage in many Web applications including recommender systems, web search and online advertising. The data in those applications is mostly categorical and contains multiple fields; a typical representation is to transform it into a high-dimensional sparse binary feature representation via one-hot encoding. Facing with the extreme sparsity, traditional models may limit their capacity of mining shallow patterns from the data, i.e. low-order feature combinations. Deep models like deep neural networks, on the other hand, cannot be directly applied for the high-dimensional input because of the huge feature space. In this paper, we propose a Product-based Neural Networks (PNN) with an embedding layer to learn a distributed representation of the categorical data, a product layer to capture interactive patterns between inter-field categories, and further fully connected layers to explore high-order feature interactions. Our experimental results on two large-scale real-world ad click datasets demonstrate that PNNs consistently outperform the state-of-the-art models on various metrics.

研究动机与目标

• 解决在线广告和推荐系统中常见的高维、稀疏、多字段类别数据中建模高阶特征交互的挑战。
• 克服传统模型（如逻辑回归和因子分解机）严重依赖人工特征工程且难以处理复杂交互的局限性。
• 改进深度神经网络在全连接层中依赖加法操作而导致无法有效建模跨字段交互的不足。
• 设计一种可扩展且高效的深度学习架构，显式捕捉不同字段间类别特征的局部依赖关系。
• 证明基于乘积的操作（内积和外积）作为标准多层感知机（MLP）在稀疏类别数据中建模特征交互的更优替代方案。

提出的方法

• 应用嵌入层将高维稀疏的二值特征（来自独热编码）转换为密集的低维实值向量，实现高效的表征学习。
• 引入乘积层，通过不同字段嵌入向量之间的内积（IPNN）或外积（OPNN）计算，显式建模成对特征交互。
• 将乘积层的输出作为后续全连接（MLP）层的输入，以学习高阶非线性特征交互。
• 设计两种变体：IPNN 通过点积捕捉交互强度，OPNN 通过外积矩阵建模交互模式。
• 使用标准深度学习目标（如二元交叉熵）进行端到端训练，用于点击率（CTR）预测。
• 优化超参数，包括嵌入维度（设为 10）、网络深度（最优为 3 层）和激活函数（ReLU 因效率和梯度流动更优而被优先选择）。

Figure 1: Product-based Neural Network Architecture.

实验结果

研究问题

• RQ1 与深度神经网络中标准的加法操作相比，显式基于乘积的操作（内积和外积）是否能更有效地捕捉类别数据中的跨字段特征交互？
• RQ2 IPNN 和 OPNN 在真实世界的 CTR 预测任务中，与 FNN、FM 和 CCPM 等现有模型相比性能如何？
• RQ3 在泛化能力和收敛性方面，PNNs 的最优架构配置（如嵌入大小、深度、激活函数）是什么？
• RQ4 在高维稀疏设置下，使用乘积层是否能带来比传统 MLP 更快的收敛速度和更好的泛化性能？
• RQ5 PNNs 是否能在不依赖预训练因子分解机的前提下，有效建模类别特征之间的局部依赖关系？

主要发现

• PNNs 在 iPinYou 和 Avazu 两个数据集上均持续优于最先进模型（包括 FNN、FM 和 CCPM），在 AUC 和 RIG 等多个指标上表现更优。
• IPNN 在两个数据集上均取得最佳 AUC 表现，优于 OPNN 和 PNN*（混合模型），表明内积操作在建模特征交互方面更有效。
• 具有 3 个隐藏层的模型在测试集上泛化性能最佳，表明中等深度在表达能力与过拟合之间达到最优平衡。
• ReLU 激活函数相比 Sigmoid 和 Tanh 表现更优，原因在于其稀疏性、高效的梯度流动以及计算速度。
• PNNs 的收敛速度优于逻辑回归和因子分解机，且在训练过程中相比其他神经网络基线模型展现出更好的收敛性。
• 消融实验验证了乘积层的关键作用：移除该层或替换为加法操作均导致性能下降，证实了显式交互建模的重要性。

Figure 2: AUC Comparison of Dropout (OPNN).