[论文解读] Online Prediction with Selfish Experts

Tim Roughgarden, Okke Schrijvers|arXiv (Cornell University)|Feb 13, 2017

Advanced Bandit Algorithms Research被引用 3

一句话总结

本文提出了一种在线预测的正式模型，其中专家出于自我利益考虑，旨在最大化其可信度，表明基于合适评分规则设计的激励相容（IC）算法对于最小化遗憾至关重要。研究证明，对于绝对损失函数，任何随机化算法（无论是否IC）都无法实现渐近可忽略的遗憾，从而在根本上区分了自私专家与诚实专家的情形。

ABSTRACT

We consider the problem of binary prediction with expert advice in settings where experts have agency and seek to maximize their credibility. This paper makes three main contributions. First, it defines a model to reason formally about settings with selfish experts, and demonstrates that "incentive compatible" (IC) algorithms are closely related to the design of proper scoring rules. Designing a good IC algorithm is easy if the designer's loss function is quadratic, but for other loss functions, novel techniques are required. Second, we design IC algorithms with good performance guarantees for the absolute loss function. Third, we give a formal separation between the power of online prediction with selfish experts and online prediction with honest experts by proving lower bounds for both IC and non-IC algorithms. In particular, with selfish experts and the absolute loss function, there is no (randomized) algorithm for online prediction-IC or otherwise-with asymptotically vanishing regret.

研究动机与目标

• 正式建立一个在线预测模型，其中专家出于最大化自身可信度的动机而行动，而非如实报告信息。
• 研究激励相容（IC）如何影响在线预测中的性能保证，特别是在非二次损失函数下的表现。
• 在绝对损失函数下，正式建立在线预测中自私专家与诚实专家之间能力的分离。
• 为绝对损失函数设计具有可证明性能保证的IC算法，其中标准方法因策略行为而失效。
• 证明IC与非IC算法的遗憾的紧致下界，表明在自私专家模型下，任何算法均无法实现可忽略的遗憾。

提出的方法

• 提出一种新颖的在线预测模型，其中专家为最大化声誉而战略性地报告信念，而非基于真实性。
• 将激励相容（IC）定义为一种属性，确保专家报告其真实信念，并将其与合适评分规则正式关联。
• 利用合适评分规则（如Brier、球形、Beta族）设计IC算法，以诱导专家提供真实信念。
• 采用随机加权多数法（RWM），但专家权重通过IC合规的评分规则更新，而非标准的损失驱动更新。
• 使用两状态隐马尔可夫模型（HMM）模拟专家行为，其中信念在高置信与低置信状态间切换。
• 通过理论分析与仿真比较IC算法与标准权重更新规则的性能，衡量相对于事后最优专家的遗憾。

实验结果

研究问题

• RQ1 当专家出于自我利益而追求最大可信度时，能否设计出激励相容的在线预测算法？
• RQ2 当专家采取策略行为时，IC算法的性能与标准在线学习算法（如采用标准损失更新的RWM）相比如何？
• RQ3 在绝对损失函数下，具有自私专家的在线预测存在哪些根本限制？
• RQ4 在线预测中，自私专家与诚实专家之间是否存在可证明的性能差异？
• RQ5 IC算法能否在绝对损失下实现次线性遗憾，还是存在根本性的不可能性结果？

主要发现

• 对于绝对损失函数，任何（随机化）在线预测算法——无论是否IC——都无法实现渐近可忽略的遗憾，确立了根本性的不可能性。
• 基于合适评分规则（如Brier、球形、Beta）的IC算法始终优于采用非IC更新的标准RWM算法，在T=10,000时遗憾低于1.02，并在T=200,000时趋近于1.003。
• IC与非IC算法之间的性能差距显著：标准RWM算法在T=200,000时遗憾维持在约1.14，而IC方法则趋近于最优专家的性能。
• 引理20中的下界 $2 + rac{1}{ig floor rac{1}{ heta} ig floor}$ 在仿真中几乎紧致，经验遗憾紧密跟踪 $2 + heta$。
• 仿真结果表明，不同评分规则（Brier、球形、Beta）下的IC方法表现相近，表明真实信念的诱导比具体权重更新规则更为关键。
• 贪婪下界实例与理论下界高度吻合，表明引理20的分析几乎紧致，尽管通过更精细的评分规则分析可能获得更强的界。