[论文解读] Peer Prediction with Heterogeneous Tasks

Debmalya Mandal, Matthew Leifer+3 more|arXiv (Cornell University)|Dec 3, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 9被引用 8

一句话总结

本文提出了相关一致-异质性（CAH）机制，这是一种多任务同伴预测系统，旨在激励在异质性任务设置下进行诚实报告——即每个任务具有不同的信号分布。通过将相关一致框架适配以考虑任务特定的响应分布，CAH 确保了知情诚实性，并对单方面及协同的错误报告均具有鲁棒性，在使用真实众包数据的模拟中表现优于单任务机制（如 RPTS 和 Kamble）。

ABSTRACT

Peer prediction is a method to promote contributions of information by users in settings in which there is no way to verify the quality of responses. In multi-task peer prediction, the reports from users across multiple tasks are used to score contributions. This paper extends the correlated agreement (CA) multi-task peer prediction mechanism to allow the reports from users to be on heterogeneous tasks, each associated with different distributions on responses. The motivation comes from wanting to elicit user-generated content about places in a city, where tasks vary because places, and questions about places, vary. We prove that the generalized CA mechanism is informed truthful under weak conditions, meaning that it is strictly beneficial for a user to invest effort and acquire information, and that truthful reporting is the best strategy when investing effort, as well as an equilibrium. We demonstrate that the mechanism has good incentive properties when tested in simulation on distributions derived from user reports on Google Local Guides.

研究动机与目标

• 为填补假设所有任务相同的同伴预测机制的空白，通过建模任务具有不同底层响应分布的场景。
• 设计一种机制，在任务异质且信号来自不同分布时，仍能保持强激励特性——尤其是知情诚实性。
• 评估所提机制对单方面偏离和协同错误报告策略的鲁棒性。
• 证明该机制在真实世界数据模拟中优于现有单任务机制（如 RPTS、Kamble）。

提出的方法

• 通过建模任务特定的联合与边缘信号分布，将相关一致（CA）机制扩展以处理异质性任务。
• 使用一种评分规则，奖励在相同任务上的一致性，同时根据信号相关性惩罚跨不同任务的一致性。
• 从用户报告中经验估计信号分布，以计算得分，而无需事先知晓联合分布。
• 在使用众包平台真实数据的模拟框架中应用该机制，以（地区、业务类型、问题）三元组作为任务实例。
• 实现一种变体 CAHR，其从报告中估计所需统计量，同时保持激励相容性。
• 采用二元努力模型，其中参与者要么投入精力获取信号，要么随机报告，并评估各种策略下的期望支付。

实验结果

研究问题

• RQ1 当任务具有不同的底层响应分布时，同伴预测机制能否维持诚实报告的激励？
• RQ2 与 RPTS 和 Kamble 等单任务机制相比，所提机制在抵抗协同错误报告方面的表现如何？
• RQ3 当参与者协同采用非诚实策略（如恒定报告或随机报告）时，该机制是否仍保持鲁棒性？
• RQ4 主观性问题与事实性问题如何影响 CAH 机制下的期望支付？

主要发现

• 在弱条件下，CAH 机制确保了知情诚实性，即在投入精力时，诚实报告严格优于说谎。
• 对于所有群体比例 p，CAH 在诚实报告下的期望支付均高于任何其他协同策略（如 const-0、const-1、随机）下的支付，表明其对协同行为具有鲁棒性。
• 相比之下，RPTS 和 Kamble 机制在 p 的中间取值时，可通过随机策略实现盈利的协同错误报告，表明其鲁棒性更弱。
• 在 CAH 下，主观性问题的期望支付低于事实性问题，这与响应中更大的感知变异性一致。
• CAH 的经验版本（CAHR）保持了强激励保证，而单任务机制的经验版本则失去了鲁棒性。
• 使用地图平台真实数据的模拟结果表明，CAH 在激励一致性与抗操纵性方面显著优于 RPTS 和 Kamble。