[论文解读] PPGenCDR: A Stable and Robust Framework for Privacy-Preserving Cross-Domain Recommendation

Xinting Liao, Weiming Liu+3 more|arXiv (Cornell University)|May 11, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

PPGenCDR 是一种用于隐私保护跨域推荐的新型框架，采用稳定且经过 RDP 正则化的生成对抗网络（GAN）生成器，对源域用户-物品交互行为进行建模与隐私化处理，同时通过鲁棒的推荐模块利用扰动后的知识来提升目标域的性能。该方法在 Douban 数据集上 HR@5 指标较之前方法至少高出 13.03%，在 Amazon 数据集上高出 6.05%，同时确保了强大的隐私保障。

ABSTRACT

Privacy-preserving cross-domain recommendation (PPCDR) refers to preserving the privacy of users when transferring the knowledge from source domain to target domain for better performance, which is vital for the long-term development of recommender systems. Existing work on cross-domain recommendation (CDR) reaches advanced and satisfying recommendation performance, but mostly neglects preserving privacy. To fill this gap, we propose a privacy-preserving generative cross-domain recommendation (PPGenCDR) framework for PPCDR. PPGenCDR includes two main modules, i.e., stable privacy-preserving generator module, and robust cross-domain recommendation module. Specifically, the former isolates data from different domains with a generative adversarial network (GAN) based model, which stably estimates the distribution of private data in the source domain with Renyi differential privacy (RDP) technique. Then the latter aims to robustly leverage the perturbed but effective knowledge from the source domain with the raw data in target domain to improve recommendation performance. Three key modules, i.e., (1) selective privacy preserver, (2) GAN stabilizer, and (3) robustness conductor, guarantee the cost-effective trade-off between utility and privacy, the stability of GAN when using RDP, and the robustness of leveraging transferable knowledge accordingly. The extensive empirical studies on Douban and Amazon datasets demonstrate that PPGenCDR significantly outperforms the state-of-the-art recommendation models while preserving privacy.

研究动机与目标

• 为现有跨域推荐系统在知识迁移过程中忽视用户隐私这一关键问题提供解决方案。
• 开发一种稳定且鲁棒的框架，在将交互数据从源域迁移至目标域时保护用户隐私。
• 在跨域设置下，实现隐私保护与推荐效用之间的有效权衡。
• 确保在训练过程中，基于 GAN 的模型在 Rényi 差分隐私（RDP）约束下保持稳定性。
• 在利用来自源域的扰动隐私保护数据时，提升目标域推荐模型的鲁棒性。

提出的方法

• 一种稳定的隐私保护生成器模块采用基于 GAN 的架构，并引入 Rényi 差分隐私（RDP），用于建模并隐私化源域中私有用户-物品交互的分布。
• 选择性隐私保护器（SPP）仅对直接访问原始数据的模型层应用 RDP，最大限度减少噪声注入，同时在保证理论隐私保障的前提下提升模型效用。
• GAN 稳定器（GS）引入一种受控制理论启发的正则化方法，以稳定判别器目标，从而在 RDP 扰动下提升 GAN 的收敛性。
• 鲁棒性调节器（RC）作为灵活的插件模块，可解耦小批量数据中的冗余表征，从而在使用扰动源数据时增强模型鲁棒性。
• 该框架将 SPP、GS 和 RC 三个核心模块整合为统一的流水线，实现隐私、稳定性与性能之间的平衡。
• 该方法利用后处理和链式法则，正式保证整体隐私预算，确保端到端的差分隐私合规性。

实验结果

研究问题

• RQ1 如何在不显著降低推荐性能的前提下，有效保护跨域推荐中的用户隐私？
• RQ2 在模型优化过程中对梯度应用 Rényi 差分隐私时，如何稳定 GAN 的训练过程？
• RQ3 鲁棒的推荐模块在在多大程度上能够适应并利用来自源域的扰动隐私保护数据？
• RQ4 在跨域设置下，隐私预算、模型稳定性和推荐效用之间的最优权衡是什么？
• RQ5 与当前最先进的隐私保护推荐模型相比，所提出的框架在隐私保护与性能方面表现如何？

主要发现

• 在 Douban 数据集上，PPGenCDR 相较于最先进模型 PriCDR 的 HR@5 指标至少提升 13.03%；在 Amazon 数据集上提升 6.05%。
• 选择性隐私保护器（SPP）通过仅对访问原始数据的层应用 RDP，减少了噪声注入，从而在保持强隐私保障的同时提升了模型效用。
• GAN 稳定器（GS）成功缓解了由 RDP 扰动引起的训练不稳定性，实现了生成器与判别器的稳定收敛。
• 鲁棒性调节器（RC）显著提升了目标域的性能，消融实验表明：当移除 RC 时性能下降程度远大于移除 GS 时的下降程度。
• PPGenCDR 在所有测试的稀疏度水平下均保持优异性能，展现出对源域数据稀缺性的强鲁棒性。
• 超参数分析表明，在 λ_A=1、τ=2 和 λ_R=0.5 时达到最优性能，且在广泛参数范围内性能保持稳定。