[论文解读] SimpleX: A Simple and Strong Baseline for Collaborative Filtering

Kelong Mao, Jieming Zhu+5 more|arXiv (Cornell University)|Sep 26, 2021

Recommender Systems and Techniques参考文献 42被引用 22

一句话总结

本文提出 SimpleX，一种简单但极为有效的协同过滤基线模型，其利用一种新颖的余弦对比损失（CCL）和大规模负采样。尽管结构简单，SimpleX 在 NDCG@20 上相比最先进模型最高提升 48.5%，表明损失函数与负采样的重要性不亚于模型架构本身。

ABSTRACT

Collaborative filtering (CF) is a widely studied research topic in recommender systems. The learning of a CF model generally depends on three major components, namely interaction encoder, loss function, and negative sampling. While many existing studies focus on the design of more powerful interaction encoders, the impacts of loss functions and negative sampling ratios have not yet been well explored. In this work, we show that the choice of loss function as well as negative sampling ratio is equivalently important. More specifically, we propose the cosine contrastive loss (CCL) and further incorporate it to a simple unified CF model, dubbed SimpleX. Extensive experiments have been conducted on 11 benchmark datasets and compared with 29 existing CF models in total. Surprisingly, the results show that, under our CCL loss and a large negative sampling ratio, SimpleX can surpass most sophisticated state-of-the-art models by a large margin (e.g., max 48.5% improvement in NDCG@20 over LightGCN). We believe that SimpleX could not only serve as a simple strong baseline to foster future research on CF, but also shed light on the potential research direction towards improving loss function and negative sampling. Our source code will be available at https://reczoo.github.io/SimpleX.

研究动机与目标

• 探究协同过滤（CF）中损失函数与负采样作用的未充分探索之处，这些因素常被对复杂交互编码器的关注所掩盖。
• 挑战在协同过滤中实现最先进性能必须依赖复杂模型的假设。
• 建立一个简单、高效且强大的基线，以实现未来协同过滤模型更公平、更稳健的评估。
• 通过实证验证余弦对比损失（CCL）与高负采样比例在多样化数据集上的有效性。

提出的方法

• 提出一种新颖的余弦对比损失（CCL），通过最大化正样本用户-物品对之间的余弦相似度，同时最小化负样本对的相似度，并引入边界以增强对比效果。
• 设计 SimpleX 为统一、轻量级的协同过滤模型，仅依赖用户与物品嵌入查找，不使用深度神经网络或消息传递机制。
• 采用大规模负采样比例（最高达 1000:1），以稳定训练并提升泛化能力，与通常采用的小比例（1–10）形成对比。
• 通过用户交互物品嵌入的平均池化操作生成用户表征，灵感来自 YouTubeNet。
• 采用统一的训练与推理流程，通过在不同划分间仅共享物品嵌入，支持归纳学习。
• 采用简单的优化目标，将 CCL 与标准负采样相结合，实现高训练效率（例如，在大规模数据集上仅需 19 分钟）。

实验结果

研究问题

• RQ1 在相同模型架构下，不同损失函数如何影响协同过滤性能？
• RQ2 在协同过滤中，不同损失函数的最优负采样比例为何？
• RQ3 一个结构简单的模型若搭配设计良好的损失函数，能否超越复杂的最先进模型？
• RQ4 损失函数与负采样选择在多大程度上影响模型在不同数据集上的泛化能力与鲁棒性？

主要发现

• 仅通过简单的嵌入查找与所提出的 CCL 损失，SimpleX 在基准数据集上相比 LightGCN 在 NDCG@20 上最高提升 48.5%。
• CCL 与高负采样比例（1000:1）的组合，显著优于使用小负采样比例的标准 BPR 损失。
• SimpleX 在 11 个基准数据集上持续超越 29 种最先进协同过滤模型，涵盖图神经网络与自编码器模型。
• 即使仅使用 64 维嵌入，SimpleX 在重参数化至可比规模后，仍超越参数量庞大的模型如 Mult-VAE 与 EASE R。
• SimpleX 的训练时间极为高效，大规模数据集上仅需 19 分钟，适合工业级部署。
• 在归纳学习设置下，模型保持强大性能，其中仅物品嵌入在训练、验证与测试集之间共享。