[论文解读] Social Bayesian Learning in the Wisdom of the Crowd

Dhaval Adjodah, Yan Leng+3 more|arXiv (Cornell University)|Dec 28, 2017

Advanced Text Analysis Techniques参考文献 8被引用 3

一句话总结

本文提出了一种社会贝叶斯模型，能够准确捕捉个体在众包预测任务中如何根据社会信息更新其信念。通过利用预测前后的信念和同伴分布直方图，该模型在平均绝对误差减少方面相比DeGroot等成熟模型最高提升147.1%，提供了更准确的信念更新表征，并通过个体间信念相关性的估计实现更优的聚合效果。

ABSTRACT

Being able to correctly aggregate the beliefs of many people into a single belief is a problem fundamental to many important social, economic and political processes such as policy making, market pricing and voting. Although there exist many models and mechanisms for aggregation, there is a lack of methods and literature regarding the aggregation of opinions when influence and learning between individuals exist. This is in part because there are not many models of how people update their belief when exposed to the beliefs of others, and so it is hard to quantify the dependencies between people's mental models which is essential to minimizing redundancies in the aggregation. In this paper, we explore many models of how users influence and learn from each other, and we benchmark our models against the well-known DeGroot model. Our main contributions are: 1) we collect a new dataset of unprecedented size and detail to be posted online; 2) we develop a new Social Bayesian model of how people update their mental models, 3) we compare of our model to other well-known social learning models. Specifically, we show that our new Social Bayesian model is superior to the other models tested.

研究动机与目标

• 为解决现有模型在群体智慧信念聚合中缺乏对社会影响与学习过程的建模问题。
• 开发一种更准确的模型，以描述个体在接触同伴预测后如何更新其信念。
• 利用信念分布估计个体间信念的相关性，降低聚合中的冗余性。
• 将新模型与DeGroot和朴素贝叶斯等成熟模型进行基准对比。
• 为未来关于社会学习与信念聚合的研究提供前所未有的大规模、高精度数据集。

提出的方法

• 该模型使用贝叶斯更新，基于预测前信念和观测到的社会信息（同伴预测的均值）来估计预测后信念。
• 假设在给定预测后信念的条件下，社会信息与先验信念条件独立，并通过数值联合分布估计来检验该假设。
• 将信念分布离散化为若干区间以计算联合概率，并验证模型的拟合度。
• 使用七轮数据中预测后信念与实际后信念之间的平均绝对误差（MAE）对模型进行评估。
• 通过组合正态/均匀先验、经验/社会似然以及后验众数/均值等方法测试替代模型。
• 通过与DeGroot基线模型相比的误差减少比例来量化该模型的优越性。

实验结果

研究问题

• RQ1 在众包环境中，个体在接触到他人预测后如何更新其信念？
• RQ2 社会贝叶斯模型在多大程度上优于DeGroot或朴素贝叶斯等现有模型，更准确地捕捉人类信念更新过程？
• RQ3 通过社会贝叶斯模型估计的信念分布能否揭示个体间有意义的信念相关性？
• RQ4 在不同市场条件下（如英国脱欧或特朗普当选）模型性能如何变化？
• RQ5 从模型中推导出的信念相关性度量能否提升群体智慧聚合的准确性？

主要发现

• 与基线模型中表现最佳者相比，社会贝叶斯模型在第一轮中将平均绝对误差降低了54.2%，在所有轮次中误差降低幅度介于2.0%至147.1%之间。
• 在第四轮中，模型相比基线实现了58.9%的改进；在第七轮中，改进幅度达到147.1%，表明其在多种条件下均表现强劲。
• 该模型的误差始终低于所有其他测试模型，包括DeGroot、朴素贝叶斯变体以及概率学习模型。
• 该模型对信念分布的表示能力使其能够利用Kullback-Leibler散度等度量方法估计个体间信念的相关性。
• 该模型拟合度更优，表明社会影响与学习动态更适于通过贝叶斯更新而非线性平均或简单独立性假设来捕捉。
• 所收集的数据集——包含2,037名学生在七轮中提交的17,420条预测，涵盖重大市场事件期间——为未来关于社会学习与信念聚合的研究提供了丰富资源。