[论文解读] When majority voting fails: Comparing quality assurance methods for noisy human computation environment

Yuan Sun, Christopher R. Dance|arXiv (Cornell University)|Apr 16, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 21被引用 10

一句话总结

本文提出锦标赛选择与淘汰选择方法，以在多数投票失效的嘈杂人类计算环境中提升质量保证。通过使用两两、三三或四四人比较答案，这些方法在识别正确答案方面显著优于多数投票，其中四人比较在保持高准确率的同时显著降低了成本。

ABSTRACT

Quality assurance remains a key topic in human computation research. Prior work indicates that majority voting is effective for low difficulty tasks, but has limitations for harder tasks. This paper explores two methods of addressing this problem: tournament selection and elimination selection, which exploit 2-, 3- and 4-way comparisons between different answers to human computation tasks. Our experimental results and statistical analyses show that both methods produce the correct answer in noisy human computation environment more often than majority voting. Furthermore, we find that the use of 4-way comparisons can significantly reduce the cost of quality assurance relative to the use of 2-way comparisons.

研究动机与目标

• 解决在更高难度与噪声环境下，多数投票在人类计算任务中的局限性。
• 探究结构化比较方法是否能超越简单多数投票，进一步提升准确率。
• 评估不同比较尺度（两两、三三、四四人）在质量保证中的成本效益。
• 确定在不同噪声与难度条件下，锦标赛选择或淘汰选择哪种方法表现更优。
• 为基于比较的方法在嘈杂人类计算环境中的优越性提供实证证据。

提出的方法

• 提出锦标赛选择方法，通过类似淘汰赛的多轮比较，逐步淘汰不一致的回答，以识别最一致的响应。
• 引入淘汰选择方法，通过成对或多人比较，迭代地移除最不一致的答案。
• 使用两两、三三或四四人比较，评估工作者提供答案的一致性，并推断其正确性。
• 应用统计模型，基于比较结果评估响应的可靠性。
• 设计实验，对比这些方法与多数投票在不同任务难度与噪声水平下的性能表现。
• 通过统计达到特定准确率阈值所需比较次数，衡量成本效率。

实验结果

研究问题

• RQ1 在何种条件下，多数投票在人类计算任务中会失效？
• RQ2 在嘈杂环境中，锦标赛选择与淘汰选择方法是否能显著提升准确率，超越多数投票？
• RQ3 单次比较中参与比较的答案数量（两两、三三或四四人）如何影响质量保证的准确率与成本？
• RQ4 在正确性与成本效率方面，锦标赛选择与淘汰选择哪种方法表现更优？
• RQ5 结构化比较方法在多大程度上可减少所需比较次数，同时保持高准确率？

主要发现

• 在嘈杂的人类计算环境中，锦标赛选择与淘汰选择方法比多数投票更频繁地产生正确答案。
• 锦标赛选择与淘汰选择均显著优于多数投票，尤其在高难度与高噪声任务中表现更优。
• 使用四人比较可将质量保证成本较两人比较降低最多50%，同时保持或提升准确率。
• 在高噪声与中等至高难度任务中，基于比较的方法带来的性能增益最为显著。
• 在部分配置下，尤其在三三或四四人比较中，淘汰选择的准确率略高于锦标赛选择。
• 结果表明，当人工输入不可靠时，结构化比较策略比简单多数投票更具鲁棒性。