[论文解读] RAIE: Region-Aware Incremental Preference Editing with LoRA for LLM-based Recommendation

Jin Zeng, Yupeng Qi+5 more|arXiv (Cornell University)|Feb 28, 2026

Recommender Systems and Techniques被引用 0

一句话总结

RAIE 引入区域级知识区域和区域特定的 LoRA 适配器，以在稳定且高效地将基于大模型的推荐系统适配到不断演化的用户偏好时，最小化遗忘风险，同时仅更新局部区域。

ABSTRACT

Large language models (LLMs) are increasingly adopted as the backbone of recommender systems. However, user-item interactions in real-world scenarios are non-stationary, making preference drift over time inevitable. Existing model update strategies mainly rely on global fine-tuning or pointwise editing, but they face two fundamental challenges: (i) imbalanced update granularity, where global updates perturb behaviors unrelated to the target while pointwise edits fail to capture broader preference shifts; (ii) unstable incremental updates, where repeated edits interfere with prior adaptations, leading to catastrophic forgetting and inconsistent recommendations. To address these issues, we propose Region-Aware Incremental Editing (RAIE), a plug-in framework that freezes the backbone model and performs region-level updates. RAIE first constructs semantically coherent preference regions via spherical k-means in the representation space. It then assigns incoming sequences to regions via confidence-aware gating and performs three localized edit operations - Update, Expand, and Add - to dynamically revise the affected region. Each region is equipped with a dedicated Low-Rank Adaptation (LoRA) module, which is trained only on the region's updated data. During inference, RAIE routes each user sequence to its corresponding region and activates the region-specific adapter for prediction. Experiments on two benchmark datasets under a time-sliced protocol that segments data into Set-up (S), Finetune (F), and Test (T) show that RAIE significantly outperforms state-of-the-art baselines while effectively mitigating forgetting. These results demonstrate that region-aware editing offers an accurate and scalable mechanism for continual adaptation in dynamic recommendation scenarios. Our code is available at https://github.com/fengaogao/RAIE.

研究动机与目标

• 解决 LLM 基于推荐系统中的非平稳用户偏好和偏好漂移问题。
• 提出一个插件式的区域感知编辑框架，将更新局部化到语义感兴趣的区域。
• 使用 sphere-k-means 形成语义上连贯的知识区域，并为每个区域分配一个专用的 LoRA 适配器。
• 开发区域感知的路由与编辑操作（Update、Expand、Add），仅更新受影响的区域。
• 在 MovieLens-10M 和 Yelp 上通过时间切片评估展示更好的保留和适应性。

提出的方法

• 通过将用户历史分段为重叠子序列并进行编码，利用冻结的 LLM 主干提取特征，归一化嵌入，再用球形 k-means 进行聚类以获得区域质心与半径。
• 为每个区域在主干上附加区域特定的 LoRA 适配器，并在区域特定数据（S 与 F 阶段）上训练这些适配器。
• 在 F 阶段，利用与区域中心的余弦相似度将新子序列路由到候选区域，然后应用区域编辑操作（Update、Expand、Add）根据置信得分调整区域中心/半径及边界。
• 区域感知的编辑规则根据置信差（p* 和 delta）及阈值，决定何时 Update 现有区域、扩展其边界或新增一个区域。
• 区域特定的 LoRA 适配器使用复合损失进行训练：区域数据上的 LoRA 目标与用于减少区域重叠的分离惩罚（L_p）。
• 在 T 阶段，将每个新子序列路由到最兼容的区域，并应用相应的区域特定 LoRA 适配器进行预测。

实验结果

研究问题

• RQ1 RAIE 在不同骨干模型和数据集上相对于最先进的插件基线的表现如何？
• RQ2 知识区域构建、区域感知编辑和区域特定 LoRA 训练对整体性能的贡献是什么？
• RQ3 RAIE 对超参数有多敏感，结果能否跨数据集泛化？
• RQ4 RAIE 是否提供对编辑前后偏好结构的可解释反映？

主要发现

• RAIE 在 MovieLens-10M 与 Yelp 的时间切片设置/测试协议下，针对多种骨干模型始终实现最优预测性能。
• 区域感知编辑实现对新兴偏好的强适应，同时保持对过去偏好的保留，优于全局 LoRA 及回放/一致性方法。
• 区域特定的 LoRA 适配器将更新局部化到漂移的用户兴趣，降低对稳定区域的干扰，缓解遗忘。
• RAIE 在如 BERT4Rec、SASRec、TiSASRec、OpenP5 等骨干模型上表现出卓越的 T（Test）指标，同时保持有竞争力的 S（Set-up）指标。
• 实验表明区域感知路由与局部化编辑在动态推荐场景中提供了有效的持续适应。