[论文解读] Sequential Peer Prediction: Learning to Elicit Effort using Posted Prices

Yang Liu, Yiling Chen|arXiv (Cornell University)|Nov 28, 2016

Mobile Crowdsensing and Crowdsourcing被引用 8

一句话总结

该论文提出了一种用于群体预测的顺序报价机制，通过动态学习最优奖励水平，激励众包工作者付出努力并如实报告，而无需了解其异质性成本或专业知识。该机制在学习最优奖励时实现了$ ilde{O}(T^{3/4})$的遗憾边界，确保在均场假设下即使工作者不完全理性，也能在均衡中遵循阈值策略来付出努力并如实报告。

ABSTRACT

Peer prediction mechanisms are often adopted to elicit truthful contributions from crowd workers when no ground-truth verification is available. Recently, mechanisms of this type have been developed to incentivize effort exertion, in addition to truthful elicitation. In this paper, we study a sequential peer prediction problem where a data requester wants to dynamically determine the reward level to optimize the trade-off between the quality of information elicited from workers and the total expected payment. In this problem, workers have homogeneous expertise and heterogeneous cost for exerting effort, both unknown to the requester. We propose a sequential posted-price mechanism to dynamically learn the optimal reward level from workers' contributions and to incentivize effort exertion and truthful reporting. We show that (1) in our mechanism, workers exerting effort according to a non-degenerate threshold policy and then reporting truthfully is an equilibrium that returns highest utility for each worker, and (2) The regret of our learning mechanism w.r.t. offering the optimal reward (price) is upper bounded by $ ilde{O}(T^{3/4})$ where $T$ is the learning horizon. We further show the power of our learning approach when the reports of workers do not necessarily follow the game-theoretic equilibrium.

研究动机与目标

• 设计一种实用的群体预测机制，通过动态设定奖励水平，在缺乏真实标签验证的情况下平衡努力激励与支付成本。
• 在工作者的努力成本和专业知识未知且异质的条件下，实现最优奖励水平的学习。
• 确保通过阈值策略付出努力并如实报告构成所有工作者的高效益均衡。
• 在均场假设下，将机制的鲁棒性扩展到工作者可能不完全遵循博弈论理性的场景。
• 通过仅依赖工作者报告的答案，最小化信息需求，避免高昂的成本披露。

提出的方法

• 该机制采用多臂赌博机框架，基于工作者报告的结果，按顺序探索和利用不同的奖励水平。
• 采用阈值策略，即只有当奖励超过其私人成本阈值时，工作者才付出努力，从而确保策略激励与诚实报告一致。
• 通过估计工作者之间的匹配概率来推断底层准确率和群体层面的专业知识，实现在无需直接报告成本情况下的学习。
• 引入均场假设，以在个体理性被放宽时，简化对群体准确率的估计。
• 通过集中不等式和对探索与利用阶段的求和边界，对遗憾进行分析，以界定相对于最优固定奖励的累积损失。
• 该机制设计简洁，仅需工作者报告任务答案，避免了额外的报告负担，如成本披露。

实验结果

研究问题

• RQ1 能否在缺乏对工作者成本或专业知识先验知识的情况下，通过顺序群体预测机制实时学习最优奖励水平？
• RQ2 在动态报价定价下，基于阈值的努力策略与诚实报告是否构成高效益均衡？
• RQ3 该学习机制相对于时间跨度T的最优固定奖励，其遗憾边界是多少？
• RQ4 当工作者偏离完全理性时，该机制在关于群体行为的合理假设下是否仍保持有效性？
• RQ5 如何利用工作者之间的匹配概率来估计底层准确率，并在缺乏真实标签的情况下支持学习？

主要发现

• 所提出的机制相对于最优固定奖励水平实现了$ ilde{O}(T^{3/4})$的遗憾边界，确保随时间推移的高效学习。
• 工作者通过遵循非退化的阈值策略付出努力并如实报告，可获得最高可能的效用，从而形成稳定均衡。
• 该机制具备抗合谋能力，因其基于群体预测基础，可抵御简单的无信息报告策略。
• 在均场假设下，该机制可推广至工作者可能不完全理性的场景，同时保持学习性能。
• 该机制设计简洁，仅需工作者报告的答案，无需披露其私人成本。
• 理论分析证实，探索与利用阶段得到平衡以最小化遗憾，且通过求和与集中不等式技术推导出明确的边界。