[论文解读] One Embedding To Do Them All

Loveperteek Singh, Shreya Singh+2 more|arXiv (Cornell University)|Jun 28, 2019

Recommender Systems and Techniques参考文献 18被引用 6

一句话总结

本文提出了一种统一的产品嵌入框架，分别利用去噪自编码器、贝叶斯个性化排序（BPR）和孪生网络，整合产品标题、点击流行为和产品图像数据。统一嵌入在三个无关的电商任务——属性预测、点击-购买相似性匹配和退货预测中，持续优于孤立嵌入，展现出强大的泛化能力与优异性能，尤其在基于DeepWalk的变体中表现突出。

ABSTRACT

Online shopping caters to the needs of millions of users daily. Search, recommendations, personalization have become essential building blocks for serving customer needs. Efficacy of such systems is dependent on a thorough understanding of products and their representation. Multiple information sources and data types provide a complete picture of the product on the platform. While each of these tasks shares some common characteristics, typically product embeddings are trained and used in isolation. In this paper, we propose a framework to combine multiple data sources and learn unified embeddings for products on our e-commerce platform. Our product embeddings are built from three types of data sources - catalog text data, a user's clickstream session data and product images. We use various techniques like denoising auto-encoders for text, Bayesian personalized ranking (BPR) for clickstream data, Siamese neural network architecture for image data and combined ensemble over the above methods for unified embeddings. Further, we compare and analyze the performance of these embeddings across three unrelated real-world e-commerce tasks specifically checking product attribute coverage, finding similar products and predicting returns. We show that unified product embeddings perform uniformly well across all these tasks.

研究动机与目标

• 解决孤立产品嵌入因任务特定性而无法在电商应用中泛化的问题。
• 将文本、点击流和视觉等多种数据源统一为单一、连贯的产品表征，以提升语义理解能力。
• 评估单一统一嵌入是否能在多种不同、无关的下游电商任务中表现良好。
• 确定不同模态数据（文本、点击流、图像）在不同业务场景下对嵌入质量的相对贡献。
• 提供一种通用的产品嵌入解决方案，可复用于多个下游系统，而无需针对特定任务重新训练。

提出的方法

• 利用去噪自编码器从产品标题、描述和属性中学习鲁棒的文本表征。
• 应用贝叶斯个性化排序（BPR）建模用户点击流行为，从隐式反馈中推断产品偏好。
• 使用孪生神经网络从产品图像中学习视觉嵌入，通过对比学习捕捉语义相似性。
• 通过结合skip-gram与孪生网络架构的集成方法，将各独立嵌入融合为统一的产品嵌入。
• 在学习过程中引入辅助信息（如品牌、颜色），以提升属性覆盖度与语义丰富度。
• 在三个不同下游任务上评估统一嵌入：属性预测、点击-购买相似性匹配和购物车退货预测。

实验结果

研究问题

• RQ1 单一统一嵌入能否有效表征多个无关电商任务中的产品？
• RQ2 不同数据源（文本、点击流、图像）对统一嵌入质量的贡献如何？
• RQ3 在退货预测和相似性匹配等任务中，整合多种数据源是否能带来优于孤立嵌入的泛化性能？
• RQ4 在冷启动和长尾产品场景下，引入辅助信息与视觉数据如何影响性能表现？
• RQ5 在不同下游任务中，使用基于DeepWalk的嵌入与更简单的统一嵌入之间是否存在性能权衡？

主要发现

• 统一嵌入在所有三个下游任务中均优于孤立嵌入（如BPR-MF、DAE、IE），展现出更优的泛化能力。
• 当在P2V和DWP2V模型中加入辅助信息与图像嵌入后，K=10时的命中率最高提升15%，其中基于DeepWalk的变体提升最为显著。
• 统一嵌入在购物车退货预测任务中达到0.89的测试F1分数，优于BPR-MF（F1=0.86）和DAE（F1=0.84）。
• 基于DeepWalk的统一嵌入（如DWP2V、DWPSI2V）达到最高F1分数0.89，表明其在建模高阶用户-产品交互方面具有显著优势。
• 图像嵌入对退货预测的贡献较小，表明视觉特征对退货行为的预测能力弱于文本或点击流信号。
• 即使不使用DeepWalk，统一嵌入（UDWPSI2V）仍达到0.87的F1分数，表明其在简单架构下表现强劲，尤其在基于意图的任务中。