[论文解读] Popularity and Quality in Social News Aggregators: A Study of Reddit and Hacker News

Greg Stoddard|arXiv (Cornell University)|Jan 30, 2015

Asian Culture and Media Studies被引用 13

一句话总结

本文提出一种泊松回归模型，通过反事实模拟用户间可见性均等，来估计 Reddit 和 Hacker News 上文章的内在质量，以纠正可见性偏差和社会影响。尽管存在强烈的社会影响效应，研究发现这些平台上的流行度仍出人意料地准确地反映了文章的真实质量。

ABSTRACT

In this paper we seek to understand the relationship between the online popularity of an article and its intrinsic quality. Prior experimental work suggests that the relationship between quality and popularity can be very distorted due to factors like social influence bias and inequality in visibility. We conduct a study of popularity on two different social news aggregators, Reddit and Hacker News. We define quality as the relative number of votes an article would have received if each article was shown, in a bias-free way, to an equal number of users. We propose a simple poisson regression method to estimate this quality metric from time-series voting data. We validate our methods on data from Reddit and Hacker News, as well the experimental data from prior work. This method works well even though the collected data is subject to common social media biases. Using these estimates, we find that popularity on Reddit and Hacker News is a stronger reflection of intrinsic quality than expected.

研究动机与目标

• 调查在存在社会影响偏差的情况下，Reddit 和 Hacker News 等社交新闻聚合平台上的流行度在多大程度上能准确反映文章的内在质量。
• 开发一种考虑可见性偏差和投票系统中‘富者愈富’效应的文章质量估计方法。
• 使用来自 Reddit 和 Hacker News 的真实世界数据，以及先前研究的实验数据，对方法进行验证。
• 研究重复发布在放大已有高人气内容可见性方面的作用，特别是在 Reddit 上。
• 评估早期投票行为在多大程度上扭曲长期流行度结果。

提出的方法

• 将‘质量’定义为：若在无可见性偏差的情况下向相同数量的用户展示文章，其预期获得的票数。
• 使用 Reddit 和 Hacker News 的时间序列投票数据，采用泊松回归框架建模点赞速率。
• 通过拟合泊松模型至投票模式，调整时间与可见性效应，来估计潜在质量得分。
• 在真实平台数据和 MusicLab 研究的实验数据上验证该方法，证明其对社会偏见具有鲁棒性。
• 将重复发布行为纳入分析，以评估其对可见性和最终流行度的影响。
• 在 Reddit 视频的一个验证子集中，使用 YouTube 播放量作为内在质量的外部代理。

实验结果

研究问题

• RQ1 尽管存在社会影响和可见性偏差，Reddit 和 Hacker News 上的流行度在多大程度上反映了文章的内在质量？
• RQ2 泊松回归模型在多大程度上能从社交新闻平台的观察性投票数据中估计出文章的内在质量？
• RQ3 在 Reddit 上，重复发布在提升外部已受欢迎内容的流行度方面起到什么作用？
• RQ4 早期投票模式在多大程度上影响社交新闻聚合平台中文章的长期流行度？
• RQ5 ‘富者愈富’效应在多大程度上扭曲了这些平台上质量与流行度之间的关系？

主要发现

• 尽管存在显著的社会影响和可见性偏差，Reddit 和 Hacker News 上的流行度仍是衡量内在文章质量的比预期更强的指标。
• 泊松回归模型即使在受常见社交媒体偏差影响的数据上，也能成功估计出文章质量。
• YouTube 播放量超过 100 万次的视频平均被提交到 Reddit 3.6 次，而播放量较低的视频仅被提交 1.5 次，表明外部流行度与提交频率之间存在强烈相关性。
• 仅 59% 的 YouTube 播放量超过 100 万次的视频在首次提交时即在 Reddit 走红，而播放量较低的视频中这一比例为 76%，表明高质量内容更可能被重复发布并最终获得关注。
• 重复发布在凸显那些本可能被忽视的外部高人气内容方面尤为关键，凸显了其在放大可见性方面的作用。
• 早期的反对票对文章流行度有强烈且可能不可逆的影响，表明初始投票行为对长期结果具有决定性影响。