[论文解读] SelfCF: A Simple Framework for Self-supervised Collaborative Filtering

Xin Zhou, Aixin Sun+3 more|arXiv (Cornell University)|Jul 7, 2021

Recommender Systems and Techniques参考文献 47被引用 12

一句话总结

该论文提出 SelfCF，一种自监督协同过滤框架，通过扰动主干模型的潜在嵌入而非使用负采样来增强用户和物品表征学习。该方法在消除负采样并利用嵌入级增强与梯度截断正则化的同时，将训练速度提升 2–4 倍，推荐准确率显著提高——最高较 LightGCN 提升 6.55%。

ABSTRACT

Collaborative filtering (CF) is widely used to learn informative latent representations of users and items from observed interactions. Existing CF-based methods commonly adopt negative sampling to discriminate different items. Training with negative sampling on large datasets is computationally expensive. Further, negative items should be carefully sampled under the defined distribution, in order to avoid selecting an observed positive item in the training dataset. Unavoidably, some negative items sampled from the training dataset could be positive in the test set. In this paper, we propose a self-supervised collaborative filtering framework (SelfCF), that is specially designed for recommender scenario with implicit feedback. The proposed SelfCF framework simplifies the Siamese networks and can be easily applied to existing deep-learning based CF models, which we refer to as backbone networks. The main idea of SelfCF is to augment the output embeddings generated by backbone networks, because it is infeasible to augment raw input of user/item ids. We propose and study three output perturbation techniques that can be applied to different types of backbone networks including both traditional CF models and graph-based models. The framework enables learning informative representations of users and items without negative samples, and is agnostic to the encapsulated backbones. We conduct comprehensive experiments on four datasets to show that our framework may achieve even better recommendation accuracy than the encapsulated supervised counterpart with a 2$ imes$--4$ imes$ faster training speed. We also show that SelfCF can boost up the accuracy by up to 17.79% on average, compared with a self-supervised framework BUIR.

研究动机与目标

• 解决协同过滤中隐式反馈下负采样的计算与分布低效问题。
• 通过自监督学习，仅基于正样本学习用户与物品表征，消除对负样本的依赖。
• 设计一种即插即用的框架，兼容多种主干模型，包括传统与图-based 协同过滤模型。
• 在无需标注负样本或复杂采样启发式策略的前提下，提升训练效率与推荐准确率。
• 探究梯度截断与预测器组件在防止自监督推荐中解耦崩溃中的作用。

提出的方法

• 直接对用户与物品表征的潜在嵌入应用三种嵌入扰动技术——随机掩码、特征洗牌与基于图的边剪枝。
• 构建孪生网络架构，其中在线网络与目标网络共享相同主干，但对嵌入应用不同的扰动。
• 基于扰动与未扰动嵌入之间的余弦相似度设计对比损失，以鼓励学习到不变且信息丰富的表征。
• 引入梯度截断操作以稳定训练并防止参数崩溃，确保反向传播过程中目标网络保持固定。
• 集成一个简单的多层感知机（MLP）预测器，以优化对比学习目标并提升下游推荐性能。
• 设计框架时对主干模型保持无感知，实现与现有基于深度学习的协同过滤模型无缝集成。

实验结果

研究问题

• RQ1 自监督学习能否在不使用负采样的情况下有效应用于协同过滤？此类框架的关键设计选择是什么？
• RQ2 在隐式反馈设置下，不同的嵌入扰动技术如何影响表征学习与推荐准确率？
• RQ3 梯度截断操作与预测器在防止解耦崩溃与提升模型稳定性方面发挥何种作用？
• RQ4 与监督基线及现有自监督框架（如 BUIR）相比，SelfCF 在准确率与训练效率方面表现如何？
• RQ5 该框架能否在不同主干模型上实现泛化，包括矩阵分解与图神经网络-based 模型？

主要发现

• SelfCF 在消除负采样的前提下，相较监督基线 LightGCN，推荐准确率最高提升 6.55%，且训练速度提升 2–4 倍。
• 该框架在四个数据集上平均使自监督基线 BUIR 的性能提升 17.79%，证明其具备强大的泛化能力与有效性。
• 梯度截断操作对模型稳定性至关重要；若移除该操作，性能显著下降，表明其在防止参数崩溃中的关键作用。
• 基于嵌入相似度的对比损失即使在无显式负样本的情况下，也能有效捕捉用户偏好与不变特征。
• 嵌入级增强在效率与可扩展性方面优于输入级增强，尤其在大规模稀疏数据集上表现更优。
• 该框架对主干模型保持无感知，且在传统协同过滤与图-based 模型上均取得具有竞争力的结果，证实其广泛适用性。