[论文解读] Truthful Data Acquisition via Peer Prediction

Yiling Chen, Yiheng Shen+1 more|arXiv (Cornell University)|Jun 6, 2020

Advanced Bandit Algorithms Research参考文献 29被引用 5

一句话总结

本文提出基于同伴预测的机制，用于在无测试数据可用时获取机器学习中的真实数据。通过根据报告者自身报告与其他报告者报告之间的互信息来支付提供者，该机制确保真实报告是一种均衡状态，并提供敏感性保障，确保扭曲参数估计的错误报告将获得更低的奖励。

ABSTRACT

We consider the problem of purchasing data for machine learning or statistical estimation. The data analyst has a budget to purchase datasets from multiple data providers. She does not have any test data that can be used to evaluate the collected data and can assign payments to data providers solely based on the collected datasets. We consider the problem in the standard Bayesian paradigm and in two settings: (1) data are only collected once; (2) data are collected repeatedly and each day's data are drawn independently from the same distribution. For both settings, our mechanisms guarantee that truthfully reporting one's dataset is always an equilibrium by adopting techniques from peer prediction: pay each provider the mutual information between his reported data and other providers' reported data. Depending on the data distribution, the mechanisms can also discourage misreports that would lead to inaccurate predictions. Our mechanisms also guarantee individual rationality and budget feasibility for certain underlying distributions in the first setting and for all distributions in the second setting.

研究动机与目标

• 设计在无评估用测试数据时的激励相容数据获取机制。
• 确保在贝叶斯设定下，数据提供者的真实报告成为占优策略。
• 在不确定性条件下维持数据获取中的个体理性与预算可行性。
• 将同伴预测技术扩展至大规模、高维数据获取的机器学习场景。

提出的方法

• 根据数据提供者报告数据与其它提供者报告之间的互信息来支付每个数据提供者。
• 利用数据处理不等式，确保真实报告能最大化互信息，从而最大化奖励。
• 在指数族分布中使用共轭先验进行贝叶斯更新，以建模参数不确定性与后验信念。
• 引入敏感性条件，确保影响参数预测的错误报告将导致更低的期望奖励。
• 通过依赖数据分布特性的机制构造，保障个体理性与预算可行性。
• 通过形式化的敏感性分析，证明真实报告是均衡状态，并阻止通过操纵改变参数估计的行为。

实验结果

研究问题

• RQ1 我们能否设计一种数据获取机制，在无测试数据或真实标签的情况下，激励提供者真实报告？
• RQ2 在何种条件下，真实报告是同伴预测机制中数据获取的均衡状态？
• RQ3 在缺乏验证的情况下，如何确保导致参数预测不准确的错误报告受到抑制？
• RQ4 此类机制在个体理性与预算可行性方面可实现何种保障？
• RQ5 我们能否形式化刻画同伴预测机制对影响参数估计的操纵行为的敏感性？

主要发现

• 在单次与重复数据获取场景中，基于互信息支付的机制均保证真实报告为均衡状态。
• 该机制具备敏感性：若错误报告导致参数预测不准确，数据提供者的期望奖励将严格降低。
• 在重复设置中，所有数据分布下均实现个体理性与预算可行性；在单次设置中，对特定分布亦可实现。
• 即使操纵行为未改变互信息，该机制仍能抑制改变底层参数后验信念的操纵行为。
• 通过指数族模型中的后验分布，形式化推导出敏感性条件，将奖励损失与参数估计误差关联。
• 通过利用充分统计量与共轭先验进行贝叶斯推断，该方法将同伴预测扩展至高维数据获取。