[论文解读] Surrogate Scoring Rules and a Dominant Truth Serum

Yang Liu, Yiling Chen|arXiv (Cornell University)|Feb 26, 2018

Auction Theory and Applications被引用 2

一句话总结

本文提出了代理评分规则（SSR），一种在缺乏真实结果的情况下激励代理进行诚实概率报告的方法。通过利用代理的报告来估计偏差和误差率，SSR 在期望上实现了严格 proper 评分规则的性能——在无法获取真实结果的情况下，实现了准确且具有激励相容性的预测评估。

ABSTRACT

Strictly proper scoring rules (SPSR) are incentive compatible for eliciting information about random variables from strategic agents when the principal can reward agents after the realization of the random variables. They also quantify the quality of elicited information, with more accurate predictions receiving higher scores in expectation. In this paper, we extend such scoring rules to settings where a principal elicits private probabilistic beliefs but only has access to agents' reports. We name our solution \emph{Surrogate Scoring Rules} (SSR). SSR build on a bias correction step and an error rate estimation procedure for a reference answer defined using agents' reports. We show that, with a single bit of information about the prior distribution of the random variables, SSR in a multi-task setting recover SPSR in expectation, as if having access to the ground truth. Therefore, a salient feature of SSR is that they quantify the quality of information despite the lack of ground truth, just as SPSR do for the setting \emph{with} ground truth. As a by-product, SSR induce \emph{dominant truthfulness} in reporting. Our method is verified both theoretically and empirically using data collected from real human forecasters.

研究动机与目标

• 为解决在真实世界场景（如专家咨询或预测市场）中，当真实结果不可获取时评估概率预测的挑战。
• 设计一种评分机制，确保激励相容性——特别是主导性诚实性——而无需依赖观测到的结果。
• 确保在期望下可对预测质量进行定量评估，其表现与真实结果存在时的严格 proper 评分规则（SPSR）一致。
• 在多任务预测设置中，仅使用单个比特的先验分布信息，即可在期望下恢复 SPSR 性能。
• 通过真实人类预测者进行实证验证，证明该方法的稳健性和实际可用性。

提出的方法

• SSR 从代理的报告中构建一个代理参考答案，将这些报告用作真实结果的代理，以在缺乏真实结果时进行评估。
• 偏差校正步骤将个体报告调整至与群体经验分布一致，以减少系统性误差。
• 通过经验方差和代理报告之间的分歧来估计误差率，形成预测准确性的代理度量。
• 利用关于随机变量分布的单个比特先验信息对评分函数进行校准，从而在期望下恢复 SPSR 性质。
• 该方法通过确保诚实报告在无论他人报告如何的情况下都是最优策略，从而保证主导性诚实性，即使在无真实结果时亦成立。
• SSR 利用多个预测任务之间的多任务学习，提升代理参考的估计精度与稳定性。

实验结果

研究问题

• RQ1 我们能否设计一种评分规则，在真实结果未知的情况下仍能激励诚实报告，同时以与严格 proper 评分规则相同的严谨程度评估预测质量？
• RQ2 在无法获取真实结果的情况下，如何仅通过代理报告来估计个体预测的误差率和偏差？
• RQ3 在无真实结果的情况下，SSR 在期望下能多大程度上恢复严格 proper 评分规则的性能？
• RQ4 在代理有动机虚报的战略报告环境中，SSR 是否能诱导出主导性诚实性？
• RQ5 SSR 能否通过真实人类预测者的实证验证，证明其既具备激励相容性，又能实现准确的质量评估？

主要发现

• 即使在无真实结果的情况下，SSR 在期望下对诚实报告的得分与严格 proper 评分规则（SPSR）相同。
• 仅使用关于随机变量分布的一个比特先验信息，SSR 即可在多个任务中于期望下恢复 SPSR 性能。
• 该方法诱导出主导性诚实性，即无论他人报告如何，诚实报告始终是最优策略，从而确保强激励相容性。
• 使用真实人类预测者的实证评估表明，SSR 能够准确按质量对预测者进行排序，并维持诚实报告的激励。
• 由代理报告构建的代理参考有效估计了偏差和误差，从而在无真实结果时实现可靠的预测质量量化。
• SSR 在多任务设置中表现出稳健性，集体报告提升了代理参考的准确性，增强了整体评估的保真度。