[论文解读] Self-supervised Learning for Deep Models in Recommendations.

Tiansheng Yao, Xinyang Yi+8 more|arXiv (Cornell University)|Jul 25, 2020

Topic Modeling参考文献 38被引用 33

一句话总结

本文提出了一种用于深度神经推荐模型的多任务自监督学习（SSL）框架，引入了两项新颖的任务——特征掩码（FM）和特征丢弃（FD），以提升大规模词汇量类别特征空间中的嵌入质量。在两个大规模数据集（分别包含5亿和10亿样本）上评估，该框架显著优于仅使用监督学习和最先进的正则化方法，尤其在低监督设置下表现更优。

ABSTRACT

Large scale neural recommender models play a critical role in modern search and recommendation systems. To model large-vocab categorical features, typical recommender models learn a joint embedding space for both queries and items. With millions to billions of items to choose from, the quality of learned embedding representations is crucial to provide high quality recommendations to users with various interests. Inspired by the recent success in self-supervised representation learning (SSL) research in both computer vision and natural language understanding, we propose a multi-task self-supervised learning framework for neural models in recommendations. Furthermore, we propose two self-supervised tasks applicable to models with categorical features within the proposed framework: (i) Feature Masking (FM) and (ii) Feature Dropout (FD). We evaluate our framework using two large-scale datasets with ~500M and 1B training examples respectively. Our results demonstrate that the proposed framework outperforms learning with the supervision task only and other state-of-the-art regularization techniques in the context of retrieval. The SSL framework shows larger improvement with less supervision compared to the counterparts.

研究动机与目标

• 提升深度神经推荐模型在大规模词汇量类别特征上的嵌入表示学习质量。
• 通过利用自监督学习（SSL）应对大规模推荐系统中监督数据有限的挑战。
• 设计适用于推荐模型中类别特征的有效自监督学习任务。
• 证明自监督学习在标签数据稀缺时，相较于监督学习和现有正则化技术，可实现更优性能。

提出的方法

• 提出一种多任务自监督学习框架，联合优化监督推荐任务与自监督任务。
• 提出特征掩码（FM），即随机掩码类别特征，模型从上下文预测被掩码的特征。
• 提出特征丢弃（FD），即在训练过程中随机丢弃类别特征，模型从剩余特征中重建被丢弃的特征。
• 采用对比学习原理，对同一输入在不同掩码或丢弃模式下生成的正负视图进行对齐。
• 将该框架应用于深度神经推荐模型，联合在共享空间中嵌入查询和项目。
• 通过同时使用监督任务和两种提出的自监督任务，端到端训练模型，以提升泛化能力和表示质量。

实验结果

研究问题

• RQ1 自监督学习能否提升大规模词汇量类别特征的深度推荐模型中嵌入表示的质量？
• RQ2 所提出的自监督任务——特征掩码与特征丢弃，如何促进推荐系统中的更好表示学习？
• RQ3 在标签数据有限的情况下，所提出的SSL框架是否优于仅使用监督学习的方法？
• RQ4 该框架在检索性能上与最先进的正则化技术相比如何？

主要发现

• 所提出的SSL框架在包含5亿和10亿训练样本的两个大规模数据集上，均优于仅使用监督任务的训练方法。
• 在低监督设置下，该框架相比基线方法取得更大性能提升，展现出更强的数据效率。
• 特征掩码与特征丢弃通过增强模型对缺失或损坏特征的鲁棒性，有效提升了表示学习能力。
• 多任务SSL框架在两个数据集上均持续提升检索性能，表明其具备强大的泛化能力。
• 当监督信号稀缺时，SSL带来的性能增益更加显著，凸显该框架在数据稀缺推荐场景中的潜力。