[论文解读] Wisdom of the Confident: Using Social Interactions to Eliminate the Bias in Wisdom of the Crowds

Gonzalo G. de Polavieja, Gabriel Madirolas|arXiv (Cornell University)|Jun 30, 2014

Opinion Dynamics and Social Influence参考文献 4被引用 5

一句话总结

本文提出一种方法，通过识别并利用对自身私人估计比对社会影响更自信的个体子群体，来消除群体智慧中的偏见。通过迭代移除社会影响权重较高的个体，并对剩余的‘自信’子群体计算几何平均值，该方法实现了无偏的集体估计，优于对全群体简单使用中位数或均值聚合的方法。

ABSTRACT

Human groups can perform extraordinary accurate estimations compared to individuals by simply using the mean, median or geometric mean of the individual estimations [Galton 1907, Surowiecki 2005, Page 2008]. However, this is true only for some tasks and in general these collective estimations show strong biases. The method fails also when allowing for social interactions, which makes the collective estimation worse as individuals tend to converge to the biased result [Lorenz et al. 2011]. Here we show that there is a bright side of this apparently negative impact of social interactions into collective intelligence. We found that some individuals resist the social influence and, when using the median of this subgroup, we can eliminate the bias of the wisdom of the full crowd. To find this subgroup of individuals more confident in their private estimations than in the social influence, we model individuals as estimators that combine private and social information with different relative weights [Perez-Escudero & de Polavieja 2011, Arganda et al. 2012]. We then computed the geometric mean for increasingly smaller groups by eliminating those using in their estimations higher values of the social influence weight. The trend obtained in this procedure gives unbiased results, in contrast to the simpler method of computing the median of the complete group. Our results show that, while a simple operation like the mean, median or geometric mean of a group may not allow groups to make good estimations, a more complex operation taking into account individuality in the social dynamics can lead to a better collective intelligence.

研究动机与目标

• 解决在群体智慧场景中引入社会互动后持续存在的集体估计偏见问题。
• 识别出抵抗社会影响并保持准确私人估计的个体子群体。
• 开发一种利用个体在社会影响权重上差异的方法，以生成无偏的群体估计。
• 证明基于对私人信息而非社会信息的自信程度的更复杂聚合策略，可优于传统的中位数或均值聚合。

提出的方法

• 将个体建模为在贝叶斯类框架下，以不同相对权重结合私人信息与社会信息的估计者。
• 在迭代移除社会影响权重较高的个体的同时，计算群体估计的几何平均值。
• 通过分析逐步缩小的子群体中几何平均值的趋势，识别出偏见最小的点。
• 将‘自信’个体定义为在最终判断中，其私人估计的权重高于社会信息的个体。
• 将该方法应用于现实世界的估计任务，以评估其相对于标准群体智慧方法的偏见降低效果。
• 使用社会影响通常会降低准确性的估计实验中的实证数据，对方法进行验证。

实验结果

研究问题

• RQ1 社会互动能否被用来提升而非降低集体估计的准确性？
• RQ2 某些个体是否能抵抗社会影响并保持更准确的私人估计？
• RQ3 能否基于个体对私人信息与社会信息的加权方式，识别出一个‘自信’个体子群体？
• RQ4 对这一自信子群体计算几何平均值，能否消除集体估计中的偏见？
• RQ5 与对全群体简单使用中位数或均值聚合相比，该方法是否更有效？

主要发现

• 在对私人估计比社会影响更自信的个体子群体中，其几何平均值可产生无偏的集体估计。
• 迭代移除社会影响权重较高的个体，导致偏见趋势持续下降，最终达到最小偏见点。
• 该方法优于全群体中位数，后者在存在社会互动时仍存在偏见。
• 即使在传统群体智慧方法因社会影响而失效的任务中，该方法也能成功消除偏见。
• 基于自信度的子群体选择过程，能识别出一个稳定且准确的估计核心，使其在社会压力下仍保持准确性。
• 结果表明，当社会互动被正确建模时，可被用来增强而非削弱集体智慧。