[论文解读] Specializing Joint Representations for the task of Product Recommendation

Thomas Nédelec, Elena Smirnova+1 more|arXiv (Cornell University)|Jun 23, 2017

Recommender Systems and Techniques参考文献 29被引用 6

一句话总结

本文提出 Content2Vec，一种模块化深度学习架构，通过融合文本、图像和协同过滤信号的模态特定嵌入，专门化联合产品表征。通过分别训练各模态并在流水线后期进行融合，该方法在标准和困难推荐场景（如冷启动和跨类别推荐）中均实现了卓越性能，同时支持高效、检索优化的压缩表征。

ABSTRACT

We propose a unified product embedded representation that is optimized for the task of retrieval-based product recommendation. To this end, we introduce a new way to fuse modality-specific product embeddings into a joint product embedding, in order to leverage both product content information, such as textual descriptions and images, and product collaborative filtering signal. By introducing the fusion step at the very end of our architecture, we are able to train each modality separately, allowing us to keep a modular architecture that is preferable in real-world recommendation deployments. We analyze our performance on normal and hard recommendation setups such as cold-start and cross-category recommendations and achieve good performance on a large product shopping dataset.

研究动机与目标

• 开发一种统一、模块化的商品嵌入，以优化基于检索的商品推荐性能。
• 解决将多样化商品信号（文本、图像和协同过滤）整合为单一有效表征的挑战。
• 在冷启动和跨类别推荐等困难推荐场景中提升鲁棒性。
• 通过压缩技术实现高效、检索优化的商品表征，同时不牺牲性能。
• 定义并评估工业规模推荐系统中最佳商品嵌入所需的一整套需求。

提出的方法

• 该架构使用独立预训练的神经网络分别处理文本（TextCNN）、图像（ImageCNN）和协同过滤（Prod2Vec），以生成模态特定的商品嵌入。
• 一种后期融合机制通过交叉交互单元（Cross Interaction Unit）对各模态嵌入进行组合，以建模模态之间的两两交互。
• 最终的联合表征通过端到端训练学习，以优化共购买商品对的链接预测任务的 AUC 指标。
• 提出两种变体：Content2Vec-perf（完整表征）和 Content2Vec-compressed（低维、稀疏、检索优化表征）。
• 通过重用预训练的模态特定编码器，支持迁移学习，并支持通过模型初始化实现快速微调。
• 交叉交互单元通过建模嵌入之间的交互，增强了跨模态的表达能力，提升了模态间的泛化性能。

实验结果

研究问题

• RQ1 能否通过融合文本、图像和协同过滤信号的统一联合商品嵌入，在商品推荐中超越单模态基线？
• RQ2 所提出的架构在冷启动和跨类别推荐等困难推荐场景中的表现如何？
• RQ3 在检索优化设置下，模型性能、训练效率与表征压缩之间的权衡如何？
• RQ4 模块化、后期融合架构是否能在保持高性能的同时，支持生产系统中的快速微调和迁移学习？
• RQ5 引入跨模态交互在多大程度上提升了商品推荐的泛化能力和鲁棒性？

主要发现

• Content2Vec-compressed 在正常和困难推荐任务中均表现出色，同时通过低维、压缩的表征实现了高效的检索。
• Content2Vec-perf 在所有评估设置下（包括跨类别和混合类别对）的 AUC 表现均优于单模态基线（TextCNN、ImageCNN、Prod2Vec）及其线性组合。
• 混合架构 Content2Vec-perf+（结合内容与协同过滤信号）的性能优于任一信号单独使用，即使在协同过滤数据丰富的情况下也是如此。
• Content2Vec-perf 在标准设置下与 Prod2Vec 性能相当，表明在连接良好的商品图中，基于内容的表征可与协同过滤方法相媲美。
• 该模型在冷启动和跨类别场景中表现出更强的鲁棒性，相较于基线有显著提升，证实其具备超越已见商品类别的泛化能力。
• 尽管 Content2Vec-compressed 的精度略低于 Content2Vec-perf，但其在性能与检索效率之间实现了出色的权衡，适合大规模部署。