[论文解读] Synthetic Attribute Data for Evaluating Consumer-side Fairness

Robin Burke, Jackson Kontny+1 more|arXiv (Cornell University)|Sep 12, 2018

Ethics and Social Impacts of AI参考文献 5被引用 5

一句话总结

该论文提出了频率关联属性生成（FLAG）算法，用于为推荐系统中的消费者侧公平性评估生成合成的人口统计属性。通过将群体成员概率与用户资料长度通过幂律分布关联，FLAG 在保持用户匿名性的同时，实现了对公平性度量的受控实验，如在 XING 和 MovieLens 数据集上的验证所示，其生成的属性与用户行为之间具有统计上合理的关联性。

ABSTRACT

When evaluating recommender systems for their fairness, it may be necessary to make use of demographic attributes, which are personally sensitive and usually excluded from publicly-available data sets. In addition, these attributes are fixed and therefore it is not possible to experiment with different distributions using the same data. In this paper, we describe the Frequency-Linked Attribute Generation (FLAG) algorithm, and show its applicability for assigning synthetic demographic attributes to recommendation data sets.

研究动机与目标

• 为解决推荐数据集中缺乏公开可用的人口统计属性这一问题，而这些属性对于消费者侧公平性评估至关重要。
• 在注重公平性的推荐研究中，实现对不同群体规模比例和行为特征的受控实验。
• 生成模仿真实人口统计分布的合成属性，同时避免用户去匿名化风险。
• 提供一种方法，为用户分配二元标签（A/B），使其与用户行为（如资料长度）相关联，以模拟受保护群体和非受保护群体。
• 通过使用基于行为的、非推断性的标签机制，在保护隐私与保持外部有效性之间实现平衡。

提出的方法

• FLAG 根据用户资料长度分配群体成员概率，使用参数 α 的幂律分布进行建模，以控制偏斜程度。
• 群体 B 的成员概率定义为 f_B(i) = 1 / i^α，其中 i 为用户的资料大小。
• 引入缩放参数 β，以控制群体 B 相对于总用户群体的期望大小。
• 通过均匀缩放 f_B(i)，获得最终的成员概率，以确保 E(|B|) = β|U|，从而匹配目标群体比例。
• 使用缩放后的分布以概率方式分配标签，确保所有用户都有非零概率被分配到任一群体。
• 该方法仅使用资料长度作为行为代理，不使用真实的人口统计数据，从而避免推断真实的人口身份。

实验结果

研究问题

• RQ1 是否能够以保护用户匿名性的方式生成合成人口统计属性，同时支持推荐系统中的公平性评估？
• RQ2 如何在合成数据中控制群体规模比例和行为特征，以模拟多样化的公平性场景？
• RQ3 合成属性分布与真实用户数据中的人口统计-行为模式的相关性在多大程度上成立？
• RQ4 FLAG 方法是否通过避免与真实人口统计身份关联，从而防止去匿名化风险？
• RQ5 在公平性评估中，合成属性作为真实人口统计属性的代理，在多大程度上具有有效性？

主要发现

• FLAG 算法成功生成了与用户资料长度概率关联的合成人口统计属性，支持受控的公平性实验。
• 通过 β 参数可调节群体规模比例，支持模拟不同受保护/非受保护群体的占比。
• 该算法通过仅基于资料大小分配合成标签，而不推断或暴露真实人口身份，从而保持了用户匿名性。
• 在 XING 数据集上的实证评估表明，资料长度遵循幂律分布，指数为 1.45，支持模型假设。
• 在 MovieLens 数据集中，FLAG 生成的标签再现了资料长度与类似人口统计行为之间具有统计合理性的关联，表明在某些情境下具有外部有效性。
• 该方法未能捕捉与真实人口统计相关联的多维行为差异（如类型偏好），凸显了在建模复杂用户行为方面的局限性。