[论文解读] Who Makes Trends? Understanding Demographic Biases in Crowdsourced Recommendations

Abhijnan Chakraborty, Johnnatan Messias+4 more|arXiv (Cornell University)|Apr 1, 2017

Social Media and Politics被引用 39

一句话总结

本文通过分析在话题成为热门之前推动其传播的用户性别、种族和年龄，研究了Twitter上众包趋势话题推荐中的年龄、种族和性别偏见。基于2016年7月至9月期间超过5,000个美国趋势话题的3个月数据集，研究发现，推动者在代表性上显著低估了边缘化群体，尤其是中年非裔美国女性；而话题在成为病毒式传播后，其代表性才有所提升，凸显了社交媒体推荐系统中系统性的输入偏见。

ABSTRACT

Users of social media sites like Facebook and Twitter rely on crowdsourced content recommendation systems (e.g., Trending Topics) to retrieve important and useful information. Contents selected for recommendation indirectly give the initial users who promoted (by liking or posting) the content an opportunity to propagate their messages to a wider audience. Hence, it is important to understand the demographics of people who make a content worthy of recommendation, and explore whether they are representative of the media site's overall population. In this work, using extensive data collected from Twitter, we make the first attempt to quantify and explore the demographic biases in the crowdsourced recommendations. Our analysis, focusing on the selection of trending topics, finds that a large fraction of trends are promoted by crowds whose demographics are significantly different from the overall Twitter population. More worryingly, we find that certain demographic groups are systematically under-represented among the promoters of the trending topics. To make the demographic biases in Twitter trends more transparent, we developed and deployed a Web-based service 'Who-Makes-Trends' at twitter-app.mpi-sws.org/who-makes-trends.

研究动机与目标

• 调查Twitter上推动趋势话题的用户群体的种族构成是否反映美国整体用户群体的特征。
• 识别特定人群——尤其是女性、非裔美国人和中年人——在趋势话题推动者中系统性代表性不足的情况。
• 理解话题推动者的种族构成如何影响社交媒体趋势的可见性和传播范围。
• 开发并部署一个透明的网络工具‘Who-Makes-Trends’，以公开展示任何美国趋势话题的推动者种族构成，供公众和研究使用。
• 通过关注输入众包群体中的偏见，而非仅关注算法本身，倡导提升算法推荐的透明度。

提出的方法

• 收集了2016年7月至9月期间美国Twitter上超过5,000个趋势话题的3个月数据集，包含相关推文和用户元数据。
• 推断了数百万名在话题成为趋势前后发布内容的用户的性别、种族和年龄等人口统计属性。
• 使用统计差异度量方法，将趋势前推动者的种族构成与美国整体Twitter用户群体的种族构成进行比较。
• 追踪话题在成为趋势前后，发布内容的用户种族构成的变化，以评估影响力的变化。
• 开发并部署了一个公开的网络服务‘Who-Makes-Trends’（twitter-app.mpi-sws.org/who-makes-trends），用于可视化任何美国趋势话题的推动者种族构成。
• 分析了2016年美国总统大选期间与选举相关的话题，观察不同种族群体如何从其自身视角推动话题。

实验结果

研究问题

• RQ1 Twitter上推动趋势话题的用户种族构成与美国整体Twitter用户群体的种族构成相比如何？
• RQ2 在趋势话题推动者中，哪些种族群体系统性代表性不足，这种代表性不足的程度有多显著？
• RQ3 用户在话题成为趋势前后的种族构成特征如何演变？
• RQ4 由单一种族群体主导推动的话题在多大程度上反映的是小众兴趣，而非涵盖多元视角的广泛社会事件？
• RQ5 一个能够揭示趋势推动者种族构成的透明系统，是否能提升公众对社交媒体推荐系统中偏见的认知？

主要发现

• Twitter上大量趋势话题由其推动者的种族构成与美国整体Twitter用户群体显著不同的用户推动。
• 中年非裔美国女性是在趋势话题推动者中代表性最不足的群体，其代表性远低于整体用户基数。
• 尽管趋势前推动者的种族构成高度偏离整体用户群体，但话题成为趋势后，发布内容的用户种族构成更接近整体Twitter用户群体。
• 主要由单一种族群体推动的话题往往反映的是小众兴趣；但在重大社会事件（如2016年美国总统大选）期间，不同群体贡献了各具特色的视角。
• 2016年美国总统大选表明，不同种族群体推动了不同的趋势：例如，中年白人男性推动了#PresidentTrump，而年轻和中年非裔及亚裔男性则推动了#NowThatTrumpIsPresident。
• 本研究证明，输入群体——特别是趋势话题的推动者——在推荐流程中引入了显著的种族构成偏见，而这种偏见常被忽视，人们往往只关注算法或输出结果。