[论文解读] TransRec: Learning Transferable Recommendation from Mixture-of-Modality Feedback

Jie Wang, Fajie Yuan+7 more|arXiv (Cornell University)|Jun 13, 2022

Machine Learning in Healthcare被引用 8

一句话总结

TransRec 通过从混合模态（MoM）用户反馈（如文本和图像）中学习，而非依赖用户和商品 ID，提出了一种用于可迁移推荐的新框架。通过用模态特定编码器（如用于文本的 BERT、用于图像的 ResNet）替换 ID 嵌入，并进行端到端训练，TransRec 实现了在不同推荐领域之间的有效零样本和少样本迁移，而无需重叠的用户或商品，仅使用有限数据即可在下游任务中实现显著的性能提升。

ABSTRACT

Learning large-scale pre-trained models on broad-ranging data and then transfer to a wide range of target tasks has become the de facto paradigm in many machine learning (ML) communities. Such big models are not only strong performers in practice but also offer a promising way to break out of the task-specific modeling restrictions, thereby enabling task-agnostic and unified ML systems. However, such a popular paradigm is mainly unexplored by the recommender systems (RS) community. A critical issue is that standard recommendation models are primarily built on categorical identity features. That is, the users and the interacted items are represented by their unique IDs, which are generally not shareable across different systems or platforms. To pursue the transferable recommendations, we propose studying pre-trained RS models in a novel scenario where a user's interaction feedback involves a mixture-of-modality (MoM) items, e.g., text and images. We then present TransRec, a very simple modification made on the popular ID-based RS framework. TransRec learns directly from the raw features of the MoM items in an end-to-end training manner and thus enables effective transfer learning under various scenarios without relying on overlapped users or items. We empirically study the transferring ability of TransRec across four different real-world recommendation settings. Besides, we look at its effects by scaling source and target data size. Our results suggest that learning neural recommendation models from MoM feedback provides a promising way to realize universal RS.

研究动机与目标

• 为解决推荐系统社区中缺乏可迁移、通用的推荐模型的问题，这些模型通常受限于基于 ID 的协同过滤。
• 探索一种新范式，即推荐模型从原始多模态商品特征（如文本、图像）中学习，而非用户/商品 ID。
• 通过利用 MoM 反馈中的模态无关表示，实现在推荐中的跨领域和零样本迁移学习。
• 通过实证验证 TransRec 在数据极少的情况下，对多样化推荐场景的泛化能力。
• 考察端到端训练与冻结特征微调在多模态推荐中的权衡。

提出的方法

• 用模态特定编码器（如用于文本的 BERT、用于图像的 ResNet）替换传统的商品 ID 嵌入，基于其原始特征表示商品。
• 将用户表示为 MoM 编码商品的序列，使模型能够从多模态内容中学习用户偏好，而非基于 ID 的交互。
• 端到端训练整个模型，联合优化模态编码器和推荐头，以实现有效的迁移学习。
• 通过将 ID 嵌入层替换为 MoM 编码器，可将该框架适配到任意基于 ID 的推荐模型，使其具备模型无关性与即插即用特性。
• 使用预训练编码器（如 BERT、ResNet）处理模态特征，并在端到端训练过程中进行微调，以提升表示质量。
• 通过在大规模源领域上进行训练，并在无重叠用户或商品的小型多样化目标领域上进行微调，评估迁移能力。

实验结果

研究问题

• RQ1 在不依赖重叠用户或商品的情况下，基于混合模态反馈训练的推荐模型是否能在不同领域之间实现泛化？
• RQ2 与使用冻结的预提取特征相比，模态编码器的端到端训练是否能带来更好的迁移性能？
• RQ3 在低数据环境下，TransRec 的表现如何？它能否有效缓解推荐中的冷启动问题？
• RQ4 MoM 反馈带来的性能提升在不同模态组合（纯文本、纯图像、图文结合）中是否一致？
• RQ5 模态编码器的选择（如 BERT 与 ResNet）如何影响推荐模型的可迁移性和鲁棒性？

主要发现

• 当从大规模源数据集迁移到仅包含 10,000 个用户序列的目标数据集时，TransRec 在 HR@10 上实现了 53.17% 的相对提升，在 NDCG@10 上也实现了 53.17% 的相对提升，表明其具备强大的少样本迁移能力。
• 在使用目标数据 60% 的情况下，TransRec 在 HR@10 上仍比基线模型 TFS 实现 26.55% 的相对提升，在 NDCG@10 上实现 26.70% 的相对提升，表明其对数据稀缺具有强鲁棒性。
• 端到端训练始终优于冻结特征微调：在 TN-text 数据集上，TransRec 的 HR@10 比冻结特征高 19.40%，NDCG@10 高 18.82%。
• 模型表现出强大的泛化能力：在 TN-video 领域中，TransRec 采用端到端训练时，HR@10 达到 0.0424，NDCG@10 达到 0.0221，显著优于冻结基线（HR@10: 0.0040，NDCG@10: 0.0023）。
• TransRec 的性能随目标数据量增加而提升，但最大收益出现在低数据场景，证实其在冷启动和数据稀缺场景中的价值。
• 结果表明，模态编码器表示（尤其是 BERT 用于文本）比 ResNet 提供的视觉特征更具通用性和有效性，表明不同模态在可迁移性方面存在差异。