[论文解读] ReFRS: Resource-efficient Federated Recommender System for Dynamic and Diversified User Preferences

Mubashir Imran, Hongzhi Yin+4 more|arXiv (Cornell University)|Jul 28, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

ReFRS 提出了一种资源高效的联邦推荐系统，通过在边缘设备上使用轻量级变分自编码器以及在服务器端进行语义聚类，以应对动态且多样化的用户偏好。该系统在真实世界数据集上实现了卓越的准确率和可扩展性，同时保护了隐私，并有效处理了数据稀疏性和非独立同分布（non-i.i.d.）的用户行为。

ABSTRACT

Owing to its nature of scalability and privacy by design, federated learning (FL) has received increasing interest in decentralized deep learning. FL has also facilitated recent research on upscaling and privatizing personalized recommendation services, using on-device data to learn recommender models locally. These models are then aggregated globally to obtain a more performant model, while maintaining data privacy. Typically, federated recommender systems (FRSs) do not consider the lack of resources and data availability at the end-devices. In addition, they assume that the interaction data between users and items is i.i.d. and stationary across end-devices, and that all local recommender models can be directly averaged without considering the user's behavioral diversity. However, in real scenarios, recommendations have to be made on end-devices with sparse interaction data and limited resources. Furthermore, users' preferences are heterogeneous and they frequently visit new items. This makes their personal preferences highly skewed, and the straightforwardly aggregated model is thus ill-posed for such non-i.i.d. data. In this paper, we propose Resource Efficient Federated Recommender System (ReFRS) to enable decentralized recommendation with dynamic and diversified user preferences. On the device side, ReFRS consists of a lightweight self-supervised local model built upon the variational autoencoder for learning a user's temporal preference from a sequence of interacted items. On the server side, ReFRS utilizes a semantic sampler to adaptively perform model aggregation within each identified user cluster. The clustering module operates in an asynchronous and dynamic manner to support efficient global model update and cope with shifting user interests. As a result, ReFRS achieves superior performance in terms of both accuracy and scalability, as demonstrated by comparative experiments.

研究动机与目标

• 解决现有联邦推荐系统（FRS）在资源受限的边缘设备上处理稀疏、非独立同分布（non-i.i.d.）用户交互数据时的局限性。
• 对随时间变化的动态和多样化用户偏好进行建模，尤其是在冷启动和低数据场景下。
• 通过考虑用户行为异质性而非假设数据独立同分布（i.i.d.），改进联邦学习中的模型聚合。
• 设计一种可扩展且保护隐私的系统，避免共享原始用户数据或人口统计信息。
• 通过基于模型参数语义相似性的用户聚类，实现在服务器端高效、异步的更新。

提出的方法

• 在客户端，ReFRS 使用轻量级变分自编码器（VAE）从序列交互窗口中学习紧凑且可解释的用户嵌入，以捕捉项目之间的时序和上下文关系。
• 客户端模型以小规模、内存高效的会话形式处理交互，丢弃旧会话以管理有限的设备存储空间，避免存储完整的项目嵌入。
• 在服务器端，语义采样器基于模型参数分布识别语义上相似的用户模型，实现在不访问原始用户数据的前提下进行聚类。
• 聚类单元以异步方式动态更新分组，以适应用户兴趣随时间的变化。
• 模型聚合器在每个聚类内执行加权平均，通过考虑用户多样性来提升全局模型性能。
• 系统支持差分隐私和同态加密，以在参数交换过程中增强安全性。

实验结果

研究问题

• RQ1 联邦推荐系统如何在资源受限的边缘设备上有效处理非独立同分布（non-i.i.d.）且稀疏的用户交互数据？
• RQ2 是否存在一种可扩展且保护隐私的方法，可在不依赖敏感人口统计数据的前提下对具有相似偏好的用户进行分组？
• RQ3 如何改进联邦学习中的模型聚合，以更好地适应动态且异质的用户行为？
• RQ4 轻量级自监督客户端模型能否在极低内存使用下有效捕捉时序和上下文偏好？
• RQ5 在去中心化环境中，客户端模型的语义聚类对收敛速度和推荐准确率有何影响？

主要发现

• 在真实世界数据集上，ReFRS 即使在数据稀疏性和非独立同分布（non-i.i.i.d.）条件下，也优于基线联邦和集中式模型，表现出更优的推荐准确率。
• 通过避免存储完整项目嵌入并使用 VAE 生成的紧凑潜在表示，ReFRS 显著降低了边缘设备上的内存消耗。
• 客户端模型的语义聚类通过将具有相似行为模式的用户分组，实现了更快的收敛速度和更优的全局模型性能。
• 异步聚类机制能有效适应随时间演变的用户偏好，同时保持高水平的推荐质量。
• 同态加密的使用支持安全的语义分组，而无需暴露单个模型参数，从而增强了隐私保护。
• ReFRS 在处理冷启动和单用户客户端场景方面优于现有 FRS 方法，展现出在实际部署中的鲁棒性。