[论文解读] Operation-aware Neural Networks for User Response Prediction

Yi Yang, Baile Xu+2 more|arXiv (Cornell University)|Apr 2, 2019

Recommender Systems and Techniques参考文献 12被引用 4

一句话总结

本文提出操作感知神经网络（ONN），一种深度学习模型，可为用户点击率/转化率预测中的不同操作（如内积、外积）学习独立的特征表示。通过按操作解耦嵌入表示，ONN 改进了高阶特征交互的建模，在 CTR/CVR 预测任务中实现了最先进性能，且收敛速度更快，尤其在在线训练设置中表现突出。

ABSTRACT

User response prediction makes a crucial contribution to the rapid development of online advertising system and recommendation system. The importance of learning feature interactions has been emphasized by many works. Many deep models are proposed to automatically learn high-order feature interactions. Since most features in advertising system and recommendation system are high-dimensional sparse features, deep models usually learn a low-dimensional distributed representation for each feature in the bottom layer. Besides traditional fully-connected architectures, some new operations, such as convolutional operations and product operations, are proposed to learn feature interactions better. In these models, the representation is shared among different operations. However, the best representation for different operations may be different. In this paper, we propose a new neural model named Operation-aware Neural Networks (ONN) which learns different representations for different operations. Our experimental results on two large-scale real-world ad click/conversion datasets demonstrate that ONN consistently outperforms the state-of-the-art models in both offline-training environment and online-training environment.

研究动机与目标

• 解决现有用户响应预测深度模型中跨操作共享特征表示的局限性。
• 通过学习操作特定的嵌入表示，改进高阶特征交互的建模。
• 在离线和在线训练环境中均提升性能，尤其适用于实时广告系统。
• 在 CTR/CVR 预测的神经架构中实现更灵活、更有效的特征表示学习。

提出的方法

• 提出一种操作感知嵌入层，根据特征所参与的操作类型，学习其独特的低维表示。
• 引入操作感知神经网络（ONN），在操作特定的嵌入表示上应用多种操作（如内积、外积），而非共享嵌入表示。
• 在操作输出结果上使用多层感知机（MLP）学习非线性交互，并采用 Sigmoid 输出进行概率估计。
• 支持多种操作类型，包括内积、外积以及子网络操作，且可组合使用。
• 每个特征使用共享的嵌入矩阵，但为每种操作应用不同的变换，从而实现操作特定的表示学习。
• 基于真实世界广告点击/转化数据集，将模型应用于 CTR/CVR 预测任务以进行评估。

实验结果

研究问题

• RQ1 学习操作特定的嵌入表示是否能提升用户响应预测中的特征表示学习？
• RQ2 与共享表示相比，按操作解耦嵌入是否能带来 CTR/CVR 预测性能的提升？
• RQ3 ONN 在在线训练环境中的表现是否优于现有模型？
• RQ4 哪些操作（如内积、外积）在性能与计算成本之间提供了最佳权衡？
• RQ5 ONN 是否能在不同数据集和训练范式（包括离线与在线学习）中实现良好泛化？

主要发现

• ONN 在 Criteo 和 Tencent Ad 数据集上，于 logloss、AUC 和 RMSE 指标上均持续优于最先进模型。
• 内积与外积操作的组合取得了最佳性能，Criteo 数据集上 logloss 为 0.43541，Tencent Ad 数据集上为 0.10502。
• ONN 比基线模型收敛更快，在在线训练环境中表现更优，表明其在实时系统中具有强适用性。
• 子网络操作表现具有竞争力，其在 Criteo 数据集上达到最高 AUC（0.81178），表明其在复杂交互建模中的潜力。
• 仅使用内积操作时，在性能与效率之间实现最佳平衡，计算成本最低。
• ONN 在腾讯社交广告学院算法竞赛中获得第一名，验证了其在真实场景中的有效性。