[论文解读] Self-supervised Learning for Large-scale Item Recommendations

Tiansheng Yao, Xinyang Yi+9 more|arXiv (Cornell University)|Jul 25, 2020

Recommender Systems and Techniques参考文献 44被引用 29

一句话总结

本文提出了一种用于大规模物品推荐的自监督学习（SSL）框架，通过新颖的数据增强和对比学习方法，利用未标记数据提升表征学习与泛化能力。该方法显著提升了性能，尤其在长尾和低监督物品上表现突出——在真实A/B测试中，新鲜应用的参与度提升+4.5%，国际市场关键指标提升+5.47%，验证了其在大规模推荐系统中的实际影响。

ABSTRACT

Large scale recommender models find most relevant items from huge catalogs, and they play a critical role in modern search and recommendation systems. To model the input space with large-vocab categorical features, a typical recommender model learns a joint embedding space through neural networks for both queries and items from user feedback data. However, with millions to billions of items in the corpus, users tend to provide feedback for a very small set of them, causing a power-law distribution. This makes the feedback data for long-tail items extremely sparse. Inspired by the recent success in self-supervised representation learning research in both computer vision and natural language understanding, we propose a multi-task self-supervised learning (SSL) framework for large-scale item recommendations. The framework is designed to tackle the label sparsity problem by learning better latent relationship of item features. Specifically, SSL improves item representation learning as well as serving as additional regularization to improve generalization. Furthermore, we propose a novel data augmentation method that utilizes feature correlations within the proposed framework. We evaluate our framework using two real-world datasets with 500M and 1B training examples respectively. Our results demonstrate the effectiveness of SSL regularization and show its superior performance over the state-of-the-art regularization techniques. We also have already launched the proposed techniques to a web-scale commercial app-to-app recommendation system, with significant improvements top-tier business metrics demonstrated in A/B experiments on live traffic. Our online results also verify our hypothesis that our framework indeed improves model performance even more on slices that lack supervision.

研究动机与目标

• 为解决大规模物品推荐系统中，尤其是用户反馈极少的长尾物品的标签稀疏问题。
• 通过自监督学习（SSL）利用未标记数据，提升表征学习与模型泛化能力。
• 设计一种新颖的数据增强策略，利用高基数类别特征之间的特征相关性，以提升SSL性能。
• 在真实生产环境中验证SSL框架的有效性，特别是在新应用或代表性不足应用等低监督场景下。
• 证明SSL在监督信号稀缺时，可提供强于当前最先进方法的正则化效果。

提出的方法

• 提出一种多任务SSL框架，通过同时使用监督反馈（如点击）和自监督对比学习目标，训练双塔DNN模型。
• 引入一种新颖的数据增强方法，通过掩码相关特征生成物品特征的互补视图，确保增强结果多样化且信息丰富。
• 采用对比学习目标，使模型学习判断两个同一物品的增强视图中哪一个为原始版本，从而提升表征质量。
• 利用互信息指导掩码特征的选择，确保增强视图在语义上既不同又相关。
• 在第二个视图中对特征值应用随机dropout，进一步增加变化性并防止捷径学习。
• 端到端联合训练模型，损失函数结合监督损失（基于用户反馈）与对比损失（基于增强视图）

实验结果

研究问题

• RQ1 自监督学习能否在用户反馈稀疏的大规模物品推荐系统中，提升表征学习与泛化能力？
• RQ2 基于特征相关性与掩码的所提数据增强策略，相较于随机或非互补增强，在SSL中表现如何？
• RQ3 该SSL框架是否在低监督场景下，提供强于现有最先进方法的正则化效果？
• RQ4 该SSL框架在长尾与冷启动物品（如新鲜应用或代表性不足市场）上的性能提升程度如何？
• RQ5 SSL的优势是否可在真实生产系统中得到验证，尤其是在离线指标无法反映线上表现时？

主要发现

• 所提出的SSL框架在大规模应用推荐系统的线上A/B实验中，整体用户参与度提升+0.67%，核心业务指标提升+1.5%。
• 新鲜应用的用户参与度提升+4.5%，证实了在监督信号极少的冷启动物品上性能显著增强。
• 在国际市场上，核心业务指标提升+5.47%，该市场训练数据更稀疏，验证了框架在低监督区域的有效性。
• 采用互补特征掩码（CFM）的对比学习任务优于所有基线方法，包括随机掩码（RFM）与无互补性变体，证明语义多样性在增强中的重要性。
• 消融实验确认，特征掩码中的互信息与第二个视图中的随机dropout均显著提升性能，表明二者在增强表征质量方面具有关键作用。
• SSL框架在所有评估指标（MAP@10, MAP@50, Recall@10, Recall@50）上均一致提升，最佳变体（CFM）在AAI数据集上达到0.1413的MAP@10。