[论文解读] Sample Complexity of Uniform Convergence for Multicalibration

Eliran Shabat, Lee M. Cohen+1 more|arXiv (Cornell University)|May 4, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 9

一句话总结

本文通过使用图维数将先前工作推广至更广泛场景，建立了有限与无限预测器类中多校准误差一致收敛的样本复杂度界。其提供了更紧致、且对异构复杂度敏感的界，确保经验多校准误差与真实多校准误差接近，从而实现独立于预测准确性的可靠公平性评估。

ABSTRACT

There is a growing interest in societal concerns in machine learning systems, especially in fairness. Multicalibration gives a comprehensive methodology to address group fairness. In this work, we address the multicalibration error and decouple it from the prediction error. The importance of decoupling the fairness metric (multicalibration) and the accuracy (prediction error) is due to the inherent trade-off between the two, and the societal decision regarding the "right tradeoff" (as imposed many times by regulators). Our work gives sample complexity bounds for uniform convergence guarantees of multicalibration error, which implies that regardless of the accuracy, we can guarantee that the empirical and (true) multicalibration errors are close. We emphasize that our results: (1) are more general than previous bounds, as they apply to both agnostic and realizable settings, and do not rely on a specific type of algorithm (such as deferentially private), (2) improve over previous multicalibration sample complexity bounds and (3) implies uniform convergence guarantees for the classical calibration error.

研究动机与目标

• 解决统计挑战：确保在所有子群体中，经验多校准误差能紧密逼近真实多校准误差。
• 将公平性（多校准）与预测准确性解耦，以支持监管与社会层面的权衡决策。
• 提供适用于异构与可实现学习设定的、通用且与算法无关的样本复杂度界。
• 将一致收敛保证扩展至经典校准误差作为特例。
• 推导可靠多校准估计所需样本量的紧致上下界。

提出的方法

• 使用图维数作为无限预测器类的复杂度度量，将VC维推广至多校准场景。
• 通过对称化与Rademacher复杂度技术应用一致收敛方法，以界定经验与真实多校准误差之间的偏差。
• 通过将连续预测值（如[0,1]）离散化为有限值集合，引入可控误差损失，实现对连续预测的有限近似。
• 利用集中不等式（如Hoeffding不等式）界定子群体层面预测与实际结果之间的差异。
• 通过归约为有偏硬币鉴别问题，证明下界，建立Ω(1/(ψγε²) log(1/δ))的样本复杂度下界。
• 利用关于子群体采样与预测一致性的引理，控制每个子群体与预测值的误差。

实验结果

研究问题

• RQ1 为确保在所有子群体与预测值上实现多校准误差的一致收敛，所需的最小样本量是多少？
• RQ2 样本复杂度如何依赖于预测器类的复杂度，特别是在异构设定下？
• RQ3 能否在不显著增加误差的情况下，将多校准的一致收敛界扩展至连续预测输出？
• RQ4 多校准一致收敛的样本复杂度的最紧致下界是什么？
• RQ5 图维数与子群体大小如何影响多校准误差的泛化能力？

主要发现

• 对于大小为|H|的有限假设类，为实现(ε, γ, ψ)-一致多校准收敛，所需样本量为O((1/ε²) log(|H|/δ))。
• 对于图维数d_G(H) ≤ d的无限类，样本复杂度为O((1/ε²ψ²γ)(d + log(|Γ||Y|/δ)))，优于先前界。
• 样本复杂度的下界为Ω(1/(ψγε²) log(1/δ))，其对ε与γ的依赖关系与上界仅相差对数因子。
• 结果意味着当子群体由预测值定义时，可自然推出经典校准误差的一致收敛。
• 与先前工作不同，本界在异构与可实现设定下均成立，无需可实现性假设或特定算法假设。
• 将连续预测离散化为有限值集合时，引入的误差最多为λ，且图维数随1/λ增长，但框架仍具通用性。