[论文解读] Quality Enhancement by Weighted Rank Aggregation of Crowd Opinion

Sujoy Chatterjee, Anirban Mukhopadhyay+1 more|arXiv (Cornell University)|Aug 31, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用 4

一句话总结

该论文提出了一种新颖的加权排名聚合方法，通过结合基于位置的评分和动态加权，提升众包中的真实答案预测。该方法在人工数据集和真实的AMT数据集上均优于最先进方法，在RTE数据集上达到93.37%的准确率，展现出在共识判断形成过程中卓越的鲁棒性和准确性。

ABSTRACT

Expertise of annotators has a major role in crowdsourcing based opinion aggregation models. In such frameworks, accuracy and biasness of annotators are occasionally taken as important features and based on them priority of the annotators are assigned. But instead of relying on a single feature, multiple features can be considered and separate rankings can be produced to judge the annotators properly. Finally, the aggregation of those rankings with perfect weightage can be done with an aim to produce better ground truth prediction. Here, we propose a novel weighted rank aggregation method and its efficacy with respect to other existing approaches is shown on artificial dataset. The effectiveness of weighted rank aggregation to enhance quality prediction is also shown by applying it on an Amazon Mechanical Turk (AMT) dataset.

研究动机与目标

• 通过整合多个标注者排名而非依赖单一指标，提升众包中的真实答案预测。
• 解决现有排名聚合方法依赖单一质量指标或未能考虑标注者可靠性与偏差的局限性。
• 开发一种加权聚合框架，根据相似性和适应度动态分配排名的重要性，以提升共识准确性。
• 在具有可控噪声的合成数据集和真实世界AMT数据上验证该方法的有效性。

提出的方法

• 该方法使用加权Spearman脚程距离计算输入排名之间的相似性矩阵，以识别最相似的排名对。
• 通过基于父排名权重的加权平均计算对象得分，将两个最相似的排名进行合并。
• 合并排名的得分计算公式为 $\mathcal{MS}^{k} = \frac{w(R_1)\cdot a + w(R_2)\cdot b}{w(R_1)+w(R_2)}$，其中 $a$ 和 $b$ 是同一对象在两个排名中的得分。
• 新合并排名的权重通过结合历史表现（父排名的优度）和当前适应度（与所有输入排名的接近程度）进行更新。
• 该过程迭代地合并最相似的排名，直至形成单一聚合排名。
• 位置 $k$ 处对象的总得分为 $\mathcal{SC}_k = \frac{m^2 - 2mk - m}{2}$，结合了基于位置的收益与惩罚得分。

实验结果

研究问题

• RQ1 在噪声水平逐渐增加的情况下，所提出的加权排名聚合方法与现有排名聚合技术相比，在鲁棒性方面表现如何？
• RQ2 通过加权聚合整合多种特征（如准确率、特异性、灵敏度）是否能提升众包中的真实答案预测？
• RQ3 在真实世界众包数据集中，该方法相较于基线方法（如多数投票法和MACE）的优越程度如何？
• RQ4 动态加权机制在提升共识排名质量方面的有效性如何？

主要发现

• 在标准差为0.02的人工数据集上，所提方法AUC值达到最高，为1.0406，优于所有其他方法，包括MC4、Robust RA和Borda。
• 在真实AMT RTE数据集上，所提方法准确率达到93.37%，优于多数投票法（89.88%）、MACE（93.00%）和Raykar（93.00%）方法。
• 该方法在处理噪声输入排名时表现出一致的优越性，即使在高噪声水平下仍能保持与输入排名的高度相似性。
• 结合历史表现与当前适应度的动态权重更新机制，显著提升了最终聚合排名的稳定性和准确性。
• 基于位置的收益与惩罚得分的使用，使排名聚合更加细致和准确，优于简单的投票或平均方法。
• 结果证实，综合考虑多种特征并应用加权聚合，相比依赖单一特征或非加权聚合方法，能实现更优的真实答案预测。