[论文解读] Sequential Voting Promotes Collective Discovery in Social Recommendation Systems

L. Elisa Celis, P. M. Krafft+1 more|arXiv (Cornell University)|Mar 14, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 21被引用 12

一句话总结

本研究调查了在社交推荐系统中，顺序投票是否能提升集体对高质量教育内容的发现。通过在亚马逊Mechanical Turk上模拟一个MOOC，研究发现，与独立投票和专家筛选相比，顺序投票显著提高了自我报告的学习效果，表明当通过学习成果这一客观指标衡量质量时，社会影响可以增强内容排名。

ABSTRACT

One goal of online social recommendation systems is to harness the wisdom of crowds in order to identify high quality content. Yet the sequential voting mechanisms that are commonly used by these systems are at odds with existing theoretical and empirical literature on optimal aggregation. This literature suggests that sequential voting will promote herding---the tendency for individuals to copy the decisions of others around them---and hence lead to suboptimal content recommendation. Is there a problem with our practice, or a problem with our theory? Previous attempts at answering this question have been limited by a lack of objective measurements of content quality. Quality is typically defined endogenously as the popularity of content in absence of social influence. The flaw of this metric is its presupposition that the preferences of the crowd are aligned with underlying quality. Domains in which content quality can be defined exogenously and measured objectively are thus needed in order to better assess the design choices of social recommendation systems. In this work, we look to the domain of education, where content quality can be measured via how well students are able to learn from the material presented to them. Through a behavioral experiment involving a simulated massive open online course (MOOC) run on Amazon Mechanical Turk, we show that sequential voting systems can surface better content than systems that elicit independent votes.

研究动机与目标

• 评估社交推荐系统中的顺序投票是否优于独立投票或专家筛选，以实现更好的内容发现。
• 利用基于学习成果的内容质量客观指标，评估社会影响在集体智能中的作用。
• 调查顺序投票机制是否能超越专家筛选，在识别高质量教育材料方面表现更优。
• 考察在顺序投票下，羊群行为（表现为得票不平等）是否有助于提升学习效果。

提出的方法

• 通过亚马逊Mechanical Turk开展行为实验，模拟一个由同伴生成解释的MOOC论坛。
• 使用两种外生指标衡量内容质量：自我报告的学习效果和消费后的测试分数。
• 比较三种投票条件：顺序投票（公开可见先前投票）、独立投票（无法查看先前投票）和专家筛选内容。
• 使用基尼指数衡量得票分布的不平等性，作为羊群行为的代理指标。
• 根据专家评分选择解释内容用于专家条件，确保高质量内容作为基准可用。
• 分析不同条件下学习效果的差异，以评估社会影响对内容发现的影响。

实验结果

研究问题

• RQ1 顺序投票是否在社交推荐系统中优于独立投票，实现更好的内容发现？
• RQ2 顺序投票能否在识别高质量教育材料方面超越专家筛选内容？
• RQ3 由得票不平等所体现的羊群行为，在多大程度上促进了顺序投票中的学习效果提升？
• RQ4 在不同投票机制下，自我报告学习效果与测试分数如何与内容质量相关联？
• RQ5 是否存在一种机制，使社会影响能够提升学习效果，其效果超越独立投票或专家选择所能达到的程度？

主要发现

• 与独立投票和专家筛选内容相比，顺序投票条件下的自我报告学习效果显著更高。
• 顺序投票条件下的平均测试分数始终更高，尽管差异未达到统计显著性。
• 基尼指数显示顺序投票条件下的得票不平等性更高，表明存在羊群行为。
• 在自我报告学习方面，顺序投票条件优于专家筛选条件，表明群体发现可能具有优势。
• 研究未发现羊群行为是提升效果的主要驱动因素的明确证据，尤其是在高质量解释较少的课程中。
• 结果表明，在某些情境下，顺序投票可能使群体发现的内容优于专家，从而对专家在内容筛选中的优越性提出了挑战。