[论文解读] Partially Synthetic Data for Recommender Systems: Prediction Performance and Preference Hiding

Manel Slokom, Martha A. Larson+1 more|arXiv (Cornell University)|Aug 9, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用 7

一句话总结

本文提出了一种推荐系统部分合成数据生成方法，可在隐藏用户偏好属性（如最喜爱的导演、演员或作者）的同时保持算法性能的相对排序。通过基于CART的插补方法，该方法在不牺牲算法测试可用性的情况下，实现了64–77%的属性泄露降低。

ABSTRACT

This paper demonstrates the potential of statistical disclosure control for protecting the data used to train recommender systems. Specifically, we use a synthetic data generation approach to hide specific information in the user-item matrix. We apply a transformation to the original data that changes some values, but leaves others the same. The result is a partially synthetic data set that can be used for recommendation but contains less specific information about individual user preferences. Synthetic data has the potential to be useful for companies, who are interested in releasing data to allow outside parties to develop new recommender algorithms, i.e., in the case of a recommender system challenge, and also reducing the risks associated with data misappropriation. Our experiments run a set of recommender system algorithms on our partially synthetic data sets as well as on the original data. The results show that the relative performance of the algorithms on the partially synthetic data reflects the relative performance on the original data. Further analysis demonstrates that properties of the original data are preserved under synthesis, but that for certain examples of attributes accessible in the original data are hidden in the synthesized data.

研究动机与目标

• 为应对推荐系统研究中日益增长的隐私担忧，特别是Facebook等高调数据滥用案例之后的担忧。
• 探讨合成数据是否能在数据扰动的情况下，仍能保持推荐算法相对性能排序的稳定性。
• 评估特定用户偏好属性（如最喜爱的导演或作者）是否能在不损害推荐实用性的前提下，有效隐藏于合成数据中。
• 提供一个概念验证，表明部分合成数据可作为真实数据在算法基准测试和挑战中的可行替代方案。
• 建立一种系统化、基于威胁模型的数据隐私保护方法，以超越临时性或基于匿名化的传统方法。

提出的方法

• 该方法使用CART（分类与回归树）在用户-项目矩阵中插补数值，通过保留部分原始条目来生成部分合成数据。
• 通过基于用户和项目特征，将原始评分中的一部分替换为插补值来生成合成数据，确保与原始数据具有结构相似性。
• 偏好属性（如最喜爱的导演、演员或作者）从高评分项目（评分≥4）中提取，并在原始数据与合成数据之间进行比较，以评估泄露风险。
• 该方法将评分视为分类数据，不为未评分项目生成评分，专注于通过扰动现有评分来隐藏敏感属性。
• 该方法在MovieLens和Goodbooks数据集上进行评估，性能通过算法排序一致性与属性泄露率进行衡量。
• 通过计算原始数据与合成数据中最喜爱属性不同的用户比例，评估披露控制效果。

实验结果

研究问题

• RQ1 部分合成数据能否在与原始数据相比时，保持推荐系统算法的相对性能排序？
• RQ2 在不降低推荐实用性的前提下，特定用户偏好属性（如最喜爱的导演或作者）在合成数据中能被隐藏到何种程度？
• RQ3 原始数据与合成数据之间的个体评分变化有多大？这种变化是否影响训练和测试的整体数据实用性？
• RQ4 是否可行将合成数据作为公共推荐系统挑战中的隐私保护型替代方案？
• RQ5 所提出的方法是否能为保护协同过滤系统中的用户偏好提供一种可行的替代方案，以替代匿名化或差分隐私？

主要发现

• 在部分合成数据上，推荐算法的相对性能排序与原始数据高度一致，表明其具有强大的预测有效性。
• 64%的用户在合成数据中其最喜爱的导演与原始数据不同，表明该属性的泄露控制效果显著。
• 77%的用户在合成数据中其最喜爱的演员与原始数据不同，表明演员偏好信息得到有效混淆。
• 在Goodbooks数据集中，72%的用户其最喜爱的作者在合成数据中发生变化，证实作者偏好可被有效隐藏。
• 原始数据与合成数据之间的平均绝对评分变化为0.825（MovieLens）和1.034（Goodbooks），表明个体层面存在显著扰动。
• 尽管评分变化显著，合成数据仍保留了足够的结构和预测特性，足以支持有意义的算法评估。