[论文解读] U-Calibration: Forecasting for an Unknown Agent

Robert Kleinberg, Renato Paes Leme+2 more|arXiv (Cornell University)|Jun 30, 2023

Forecasting Techniques and Applications被引用 4

一句话总结

本文提出了 U-校准（U-calibration），一种用于评估未知代理效用下预测结果的新度量，表明子线性 U-校准误差对于所有代理实现子线性遗憾是必要且充分的。作者提出了一种在线算法，实现 $O(\sqrt{T})$ 的 U-校准误差——与单评分规则优化的最优速率相匹配——同时避免了传统校准方法的较慢收敛速度。

ABSTRACT

We consider the problem of evaluating forecasts of binary events whose predictions are consumed by rational agents who take an action in response to a prediction, but whose utility is unknown to the forecaster. We show that optimizing forecasts for a single scoring rule (e.g., the Brier score) cannot guarantee low regret for all possible agents. In contrast, forecasts that are well-calibrated guarantee that all agents incur sublinear regret. However, calibration is not a necessary criterion here (it is possible for miscalibrated forecasts to provide good regret guarantees for all possible agents), and calibrated forecasting procedures have provably worse convergence rates than forecasting procedures targeting a single scoring rule. Motivated by this, we present a new metric for evaluating forecasts that we call U-calibration, equal to the maximal regret of the sequence of forecasts when evaluated under any bounded scoring rule. We show that sublinear U-calibration error is a necessary and sufficient condition for all agents to achieve sublinear regret guarantees. We additionally demonstrate how to compute the U-calibration error efficiently and provide an online algorithm that achieves $O(\sqrt{T})$ U-calibration error (on par with optimal rates for optimizing for a single scoring rule, and bypassing lower bounds for the traditionally calibrated learning procedures). Finally, we discuss generalizations to the multiclass prediction setting.

研究动机与目标

• 为解决现有预测评估方法依赖已知评分规则或缺乏决策理论基础的局限性。
• 识别一种稳健的评估度量，确保所有理性代理在未知效用函数下均实现低遗憾。
• 开发一种具有可证明快速收敛速率的预测方法，优于基于传统校准的方法。
• 形式化一种新度量——U-校准——以捕捉所有有界评分规则下的最坏情况遗憾。
• 展示一种高效在线算法，可在二元和多分类设置下实现最优的 $O(\sqrt{T})$ U-校准误差。

提出的方法

• 将 U-校准定义为在任意有界评分规则下，预测结果的最大遗憾，形式化为所有此类规则下遗憾的上确界。
• 证明子线性 U-校准误差对于所有代理实现子线性遗憾而言是必要且充分的，无论其效用函数为何。
• 提出一种改进的 Follow-the-Perturbed-Leader（FTPL）算法变体，称为 BTPL，以实现 $O(\sqrt{T})$ 的 U-校准误差。
• 通过在离散结果序列集合上使用随机扰动策略，模拟基准率预测，从而在 BTL 框架下通过与领导者比较实现遗憾分析。
• 通过与基准率调整后的 BTL 变体进行耦合论证，并结合基准率差异的浓度不等式，证明 BTPL 算法的遗憾被限制在 $O(\sqrt{T})$。
• 通过将扰动和遗憾分析推广至 $K$ 类结果，将该框架推广至多分类预测。

实验结果

研究问题

• RQ1 是否存在一种单一预测度量，可确保所有具有未知效用函数的理性代理实现子线性遗憾？
• RQ2 校准是否为所有可能代理实现低遗憾的必要条件？还是说，即使预测未校准，仍可保证良好的遗憾表现？
• RQ3 我们能否实现与单评分规则优化相匹配的预测评估收敛速率，同时对未知代理效用保持鲁棒性？
• RQ4 一种可保证所有代理实现低遗憾的预测方法的最优收敛速率是什么？是否可以在不依赖校准的前提下实现该速率？
• RQ5 在序列预测设置中，如何高效计算并最小化所有有界评分规则下的最坏情况遗憾？

主要发现

• 子线性 U-校准误差对于所有代理实现子线性遗憾而言是必要且充分的，无论其效用函数为何。
• 校准并非低遗憾的必要条件，因为即使预测未校准，仍可对所有代理提供良好的遗憾保证。
• 所提出的 BTPL 算法实现 $O(\sqrt{T})$ 的 U-校准误差，与单评分规则优化的最优速率一致，并优于传统校准方法的较慢收敛速度。
• BTPL 算法的 $O(\sqrt{T})$ 遗憾界是紧的，对 $T$ 的依赖是最优的，尽管在多分类情况下对 $K$ 的依赖仍为开放问题。
• 分析表明，基于 BTL 的预测序列的遗憾非正，这通过递归分解和扰动耦合实现了最终的遗憾界。
• 该框架可推广至多分类预测，核心遗憾分析通过类似的扰动和基准率调整策略扩展至 $K$ 类结果。