[论文解读] Whom to Ask? Jury Selection for Decision Making Tasks on Micro-blog Services

Caleb Chen Cao, Jieying She+2 more|arXiv (Cornell University)|Aug 1, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 24被引用 13

一句话总结

本文提出了微博服务中决策任务的陪审团遴选问题（Jury Selection Problem, JSP），其目标是从预算受限的用户子集中选出‘陪审团’，以最小化陪审团错误率（Jury Error Rate, JER）——即多数投票产生错误答案的概率。本文提出了高效的JER计算算法及基于激励的贪心选择启发式方法，并在合成数据与真实微博数据上进行了验证，结果在准确率与效率方面表现优异。

ABSTRACT

It is universal to see people obtain knowledge on micro-blog services by asking others decision making questions. In this paper, we study the Jury Selection Problem(JSP) by utilizing crowdsourcing for decision making tasks on micro-blog services. Specifically, the problem is to enroll a subset of crowd under a limited budget, whose aggregated wisdom via Majority Voting scheme has the lowest probability of drawing a wrong answer(Jury Error Rate-JER). Due to various individual error-rates of the crowd, the calculation of JER is non-trivial. Firstly, we explicitly state that JER is the probability when the number of wrong jurors is larger than half of the size of a jury. To avoid the exponentially increasing calculation of JER, we propose two efficient algorithms and an effective bounding technique. Furthermore, we study the Jury Selection Problem on two crowdsourcing models, one is for altruistic users(AltrM) and the other is for incentive-requiring users(PayM) who require extra payment when enrolled into a task. For the AltrM model, we prove the monotonicity of JER on individual error rate and propose an efficient exact algorithm for JSP. For the PayM model, we prove the NP-hardness of JSP on PayM and propose an efficient greedy-based heuristic algorithm. Finally, we conduct a series of experiments to investigate the traits of JSP, and validate the efficiency and effectiveness of our proposed algorithms on both synthetic and real micro-blog data.

研究动机与目标

• 为解决从微博网络中遴选最可靠用户子集（即‘陪审团’）以回答决策问题的挑战。
• 最小化陪审团错误率（JER），其定义为：所选陪审团多数投票产生错误答案的概率。
• 设计高效的JER计算算法，避免因组合爆炸导致的指数级复杂度。
• 建立两种不同的众包场景模型：利他型用户（AltrM）与需激励的用户（PayM），其遴选机制各不相同。
• 在合成数据与真实微博数据集上评估所提算法的有效性与效率。

提出的方法

• 明确定义JER为：超过半数所选陪审团成员提供错误答案的概率。
• 提出两种高效算法，分别以O(n²)与O(n log n)时间复杂度计算JER，利用边界技术避免完整组合枚举。
• 证明在AltrM模型中，JER随个体错误率单调递增，从而支持更高效的精确算法。
• 建立PayM模型，其中用户需支付报酬；证明JSP在PayM下为NP难问题，并提出基于贪心的启发式方法以实现实际遴选。
• 使用真实微博数据（如HITS与PageRank）及合成数据，评估算法在不同错误率与预算约束下的性能表现。
• 采用多数投票作为聚合机制，通过与真实答案对比，衡量精确率、召回率与JER。

实验结果

研究问题

• RQ1 如何在不穷举所有可能陪审团组合的前提下，高效计算陪审团错误率（JER）？
• RQ2 个体错误率对整体JER的影响如何？是否可利用单调性特性实现优化？
• RQ3 利他型用户（无偿贡献）与需激励用户（需支付报酬）的遴选策略有何差异？
• RQ4 尽管PayM模型为NP难问题，贪心启发式方法是否能在实际中实现接近最优的JER？
• RQ5 与真实答案相比，所提算法在真实微博数据上的准确率（精确率、召回率）与JER表现如何？

主要发现

• 所提JER计算算法将时间复杂度从指数级降低至O(n²)与O(n log n)，使大规模微博网络上的可扩展评估成为可能。
• 在AltrM模型中，JER随个体错误率单调递增，从而支持更高效的精确算法求解JSP。
• PayM模型被证明为NP难问题，但所提贪心启发式方法在真实数据上实现了0.00075的低JER，展现出强大的实际性能。
• 实验表明，基于HITS的遴选方法实现精确率与召回率均为1.0（完美表现），而基于PageRank的遴选方法因纳入低错误率用户，精确率与召回率较低，但仍保持极低JER。
• PayALG启发式方法所选陪审团规模与真实规模高度接近，表明其在成本与可靠性之间实现了有效平衡。
• 结果验证了所提算法在效率与有效性方面均表现优异，在预算约束下显著优于基线方法，能更有效地最小化JER。