[论文解读] User Embedding Model for Personalized Language Prompting

Sumanth Doddapaneni, Krishna Sayana+3 more|arXiv (Cornell University)|Jan 10, 2024

Topic Modeling被引用 4

一句话总结

本文提出了一种用户嵌入模块（UEM），将长用户历史压缩为上下文嵌入，作为软提示用于个性化语言模型输出。通过与语言模型联合训练，该方法实现了高效、可扩展的个性化，相较于基于文本的提示基线模型，F1分数最高提升0.25点。

ABSTRACT

Modeling long histories plays a pivotal role in enhancing recommendation systems, allowing to capture user's evolving preferences, resulting in more precise and personalized recommendations. In this study we tackle the challenges of modeling long user histories for preference understanding in natural language. Specifically, we introduce a new User Embedding Module (UEM) that efficiently processes user history in free-form text by compressing and representing them as embeddings, to use them as soft prompts to a LM. Our experiments demonstrate the superior capability of this approach in handling significantly longer histories compared to conventional text based prompting methods, yielding substantial improvements in predictive performance. The main contribution of this research is to demonstrate the ability to bias language models with user signals represented as embeddings.

研究动机与目标

• 为解决在个性化语言建模中建模长用户历史以提升偏好理解的挑战。
• 克服直接将长用户历史拼接为输入标记所导致的计算效率低下问题，避免O(n²)的自注意力计算开销。
• 通过学习与下游任务上下文对齐的用户特定表示，实现有效个性化。
• 探索使用完整用户历史（而非采样或摘要片段）作为大语言模型输入的可行性。
• 证明用户信号嵌入可有效用于偏置语言模型，提升推荐任务中的预测性能。

提出的方法

• 用户嵌入模块（UEM）使用SentenceT5对用户历史中的每一项（如电影标题、类型、评分、描述）进行处理，生成稠密嵌入。
• 将这些嵌入组合成长度为p（历史条目数量）的序列，形成用户历史表示U ∈ ℝ^{p×3s}，其中s为SentenceT5的嵌入维度。
• 基于Transformer的UEM处理嵌入序列，并应用可学习的线性投影，将输出维度对齐至语言模型的隐藏层大小e。
• 最终得到的用户提示嵌入Pr_{UEM}(U) ∈ ℝ^{p×e}与特定任务的软提示P_e ∈ ℝ^{k×e}及输入查询嵌入拼接，构成语言模型的最终输入。
• UEM与语言模型联合训练，以确保用户表示在下游任务性能上得到优化。
• 通过用紧凑的、学习得到的嵌入替代原始文本历史，避免O(n²)的注意力计算开销，实现对长历史的高效处理。

Figure 1: Overview of our User History Modeling Approach. The user history’s textual features are processed through the User Embedding module and combined with the task prompt and subsequently passed through the language model.

实验结果

研究问题

• RQ1 学习得到的用户嵌入模块能否有效将长用户历史压缩为适合大语言模型软提示的形式？
• RQ2 所提出的基于UEM的提示方法相较于使用长用户历史的传统文本提示方法，性能如何？
• RQ3 与使用采样或摘要用户历史的基线模型相比，UEM在偏好理解任务中的预测性能提升程度如何？
• RQ4 UEM的规模（如层数）对模型性能和效率有何影响？
• RQ5 能否通过领域特定嵌入将UEM扩展以支持多模态用户信号？

主要发现

• 所提出的基于UEM的提示方法在电影类型预测任务中，相较于基于文本的提示基线，F1分数最高提升0.21和0.25点。
• UEM实现了对远超传统文本方法的用户历史长度的高效处理，将计算开销从O(n²)降低为与序列长度线性相关。
• 将UEM层数从1层增加到3层，使基础模型的F1分数从0.346提升至0.396，大模型的F1分数从0.347提升至0.381，表明UEM规模与性能之间存在正相关关系。
• 该方法优于FlanT5和LongT5等基线模型，最佳性能的UEM增强模型在基础模型上达到0.396的测试F1，在大模型上达到0.381的测试F1。
• UEM的性能对嵌入模型的选择较为敏感，基于SentenceT5的表示已表现出强劲基线性能，未来通过领域特定嵌入可进一步提升。
• 该方法具有良好的泛化能力，可通过使用模态特定嵌入扩展至多模态输入，未来工作将在此方向推进。

Figure 2: Comparison of model performance with increasing User History.