[论文解读] Open Benchmarking for Click-Through Rate Prediction

Jieming Zhu, Jinyang Liu+3 more|arXiv (Cornell University)|Sep 12, 2020

Green IT and Sustainability参考文献 49被引用 4

一句话总结

本文提出了 BARS-CTR，这是首个用于点击率（CTR）预测的开放基准，标准化了在 Criteo 和 Avazu 数据集上对 24 种模型的评估协议。经过超过 7,000 次实验和 12,000 小时的 GPU 计算时间，研究发现，在充分的超参数调优后，模型性能差异远小于预期，凸显了在 CTR 研究中实现可复现基准测试的必要性。

ABSTRACT

Click-through rate (CTR) prediction is a critical task for many applications, as its accuracy has a direct impact on user experience and platform revenue. In recent years, CTR prediction has been widely studied in both academia and industry, resulting in a wide variety of CTR prediction models. Unfortunately, there is still a lack of standardized benchmarks and uniform evaluation protocols for CTR prediction research. This leads to non-reproducible or even inconsistent experimental results among existing studies, which largely limits the practical value and potential impact of their research. In this work, we build an open benchmark for CTR prediction, namely BARS-CTR, and present a rigorous comparison of different models in a reproducible manner. To this end, we ran over 7,000 experiments for more than 12,000 GPU hours in total to re-evaluate 24 existing models on multiple datasets and settings. Surprisingly, our experiments show that with sufficient hyper-parameter search and model tuning, many deep models have smaller differences than expected. The results also reveal that making real progress on the modeling of CTR prediction is indeed a very challenging research task. We believe that our benchmarking work could not only allow researchers to gauge the effectiveness of new models conveniently but also make them fairly compare with the state of the arts. We have publicly released the benchmarking code, evaluation protocols, and hyper-parameter settings of our work to promote reproducible research in this field.

研究动机与目标

• 解决 CTR 预测研究中缺乏标准化评估协议和可复现结果的问题。
• 提供一个统一的基准测试框架，以实现对现有 CTR 模型的公平且一致的比较。
• 通过公开完整的训练配置和结果，减少研究人员对基线模型的重复实现。
• 揭示先前研究中因数据划分、预处理和超参数设置不同而导致的不一致性和不可复现性。
• 通过公开代码、超参数和中间结果，推动可复现研究。

提出的方法

• 构建了 BARS-CTR，一个用于 CTR 预测的开放基准平台，标准化了数据预处理、训练-测试划分和评估指标。
• 采用统一的训练设置，在多个运行中使用固定的随机种子，对 24 种现有 CTR 模型进行了重新评估。
• 针对每种模型与数据集的组合，使用贝叶斯优化进行了广泛的超参数搜索。
• 在两种广泛采用的真实世界数据集——Criteo 和 Avazu 上进行实验，采用多种数据划分方案以确保结果的稳健性。
• 标准化了预处理步骤，包括数值特征处理、稀有类别特征处理以及特征域定义。
• 公开了完整的训练日志、超参数配置和代码，以确保所有结果的完全可复现性。

实验结果

研究问题

• RQ1 在标准化、可复现的评估协议下，现有 CTR 模型的性能差异有多大？
• RQ2 超参数调优和一致的数据预处理对 CTR 模型相对排名的影响有多大？
• RQ3 为何许多先前的研究在使用 Criteo 和 Avazu 等广泛可用数据集时，仍报告不一致或不可复现的结果？
• RQ4 集中式、开放的基准是否能提升 CTR 预测研究中模型比较的可靠性与公平性？
• RQ5 在经过严格调优和标准化评估后，最先进 CTR 模型之间的实际性能差距是多少？

主要发现

• 在经过广泛的超参数调优和标准化评估后，许多深度 CTR 模型之间的性能差异显著小于以往报告的结果。
• 该基准揭示了先前工作中因数据划分不一致、预处理方法不同和超参数选择差异，导致比较结果不可复现且具有误导性。
• 即使在先前研究中被视为最先进模型的模型，在相同评估协议下与强基线模型相比也仅表现出微小的性能提升。
• 结果表明，即使使用先进的深度学习架构，实现 CTR 预测中具有实际意义的精度提升仍极具挑战性。
• 训练日志、超参数和代码的公开发布，实现了完全可复现性，使研究人员能够公平地验证和比较模型。
• 该基准测试工作消耗了超过 12,000 小时的 GPU 时间，涉及超过 7,000 次独立实验，凸显了在 CTR 预测中实现公平模型评估的复杂性。