[论文解读] Multimodal Pretraining, Adaptation, and Generation for Recommendation: A Survey

Qijiong Liu, Jieming Zhu+7 more|arXiv (Cornell University)|Mar 31, 2024

Recommender Systems and Techniques被引用 4

一句话总结

本综述全面概述了推荐系统中多模态预训练、微调与生成技术，强调通过整合大规模预训练多模态模型以提升内容感知个性化推荐。系统性地探讨了领域内预训练方法、通过调优策略进行模型适配，以及人工智能生成内容（AIGC）的应用，同时识别出多模态推荐中的关键挑战与未来研究方向。

ABSTRACT

Personalized recommendation serves as a ubiquitous channel for users to discover information tailored to their interests. However, traditional recommendation models primarily rely on unique IDs and categorical features for user-item matching, potentially overlooking the nuanced essence of raw item contents across multiple modalities such as text, image, audio, and video. This underutilization of multimodal data poses a limitation to recommender systems, especially in multimedia services like news, music, and short-video platforms. The recent advancements in large multimodal models offer new opportunities and challenges in developing content-aware recommender systems. This survey seeks to provide a comprehensive exploration of the latest advancements and future trajectories in multimodal pretraining, adaptation, and generation techniques, as well as their applications in enhancing recommender systems. Furthermore, we discuss current open challenges and opportunities for future research in this dynamic domain. We believe that this survey, alongside the curated resources, will provide valuable insights to inspire further advancements in this evolving landscape.

研究动机与目标

• 提供对推荐系统中多模态预训练、微调与生成技术最新进展的系统性综述。
• 突出预训练多模态模型在超越传统特征方法的基础上，提升内容感知推荐的作用。
• 识别多模态推荐中的开放性挑战与新兴机遇，包括模态融合、跨领域对齐以及基础模型。
• 探索AIGC与基于大语言模型（LLM）的智能体在增强推荐系统个性化与用户交互中的集成。
• 解决在将多模态模型应用于现实世界推荐系统时面临的效率、伦理问题与实际部署挑战。

提出的方法

• 对面向特定领域数据的多模态预训练技术进行分类与综述，以提升推荐任务中的领域内表征学习能力。
• 研究表示迁移、微调、适配器微调与提示微调等适配策略，以将预训练多模态模型与下游推荐任务对齐。
• 分析多模态生成技术，特别是AIGC，用于在推荐场景中生成个性化内容（如标题、广告与解释）。
• 提出一种分层且个性化的多模态信息融合框架，覆盖用户行为、物品与模态（文本、图像、音频、视频）之间的交互。
• 讨论在大规模、多领域推荐数据上预训练多模态基础模型的潜力，以实现模型泛化与上下文学习能力。
• 综述训练与推理阶段的效率策略，以满足生产环境中推荐系统对实时延迟的要求。

实验结果

研究问题

• RQ1 如何通过提示微调与适配器微调等技术，有效微调预训练多模态模型以应用于推荐任务？
• RQ2 在用户-物品交互的分层结构中，如何实现个性化地融合多模态信息？
• RQ3 如何利用AIGC技术生成个性化内容（如标题、广告）以提升推荐性能与用户参与度？
• RQ4 将基础模型扩展至推荐领域时，其关键挑战是什么，特别是在泛化能力与上下文学习方面？
• RQ5 如何优化多模态模型在训练与推理阶段的效率，以满足生产系统中实时服务的需求？

主要发现

• 使用领域特定数据进行多模态预训练可显著提升物品表征质量，从而实现更优的内容感知推荐。
• 提示微调与适配器微调等适配技术可有效将预训练多模态知识迁移至推荐任务，同时降低计算成本。
• 基于AIGC的生成技术可实现个性化内容（如标题、创意素材）的自动生成，提升推荐系统中的用户参与度与个性化水平。
• 在用户行为、物品与模态之间实现分层且个性化的多模态信息融合，可带来更准确、更具上下文感知的推荐结果。
• 为推荐任务开发多模态基础模型是一条有前景的方向，可通过上下文学习实现跨任务与跨领域的泛化能力。
• 训练与推理阶段的效率仍是关键挑战，亟需开发轻量化且可扩展的策略以支持实时生产环境部署。