[论文解读] Understanding the bias-variance tradeoff of Bregman divergences

Ben Adlam, Neha Gupta+2 more|arXiv (Cornell University)|Feb 8, 2022

Statistical Mechanics and Entropy被引用 10

一句话总结

本文通过将核心预测重新解释为对偶空间中的平均，解决了Bregman散度的偏差-方差权衡问题，使偏差与方差的统一分析成为可能。它建立了广义的总方差定律，表明对偶平均在不改变偏差的情况下降低了方差，并为交叉熵等非对称损失下的集成学习提供了原则性框架。

ABSTRACT

This paper builds upon the work of Pfau (2013), which generalized the bias variance tradeoff to any Bregman divergence loss function. Pfau (2013) showed that for Bregman divergences, the bias and variances are defined with respect to a central label, defined as the mean of the label variable, and a central prediction, of a more complex form. We show that, similarly to the label, the central prediction can be interpreted as the mean of a random variable, where the mean operates in a dual space defined by the loss function itself. Viewing the bias-variance tradeoff through operations taken in dual space, we subsequently derive several results of interest. In particular, (a) the variance terms satisfy a generalized law of total variance; (b) if a source of randomness cannot be controlled, its contribution to the bias and variance has a closed form; (c) there exist natural ensembling operations in the label and prediction spaces which reduce the variance and do not affect the bias.

研究动机与目标

• 解决基于Bregman散度的偏差-方差分解中核心预测的理论模糊性。
• 统一分析KL散度和交叉熵等非对称损失下的偏差与方差。
• 建立一种对偶空间视角，以简化核心预测的计算与解释。
• 推导方差的一般性质，包括广义的总方差定律。
• 表征在原空间与对偶空间中进行集成对偏差与方差的影响。

提出的方法

• 将核心预测重新表述为由Bregman散度定义的对偶空间中期望预测的原空间形式。
• 引入对偶平均，定义为对偶空间中平均的原空间形式，以在不改变偏差的情况下降低方差。
• 利用凸共轭建立原空间与对偶空间之间的对偶性，以关联原空间与对偶空间的方差。
• 应用广义的总方差定律，将模型方差在独立随机源之间进行分解。
• 推导出来自不可控随机源的不可约偏差贡献的闭式表达式。
• 证明对偶平均在不假设散度联合凸性的情况下，能够保持偏差并降低方差。

实验结果

研究问题

• RQ1 在非对称情况下，如何对基于Bregman散度的偏差-方差分解中的核心预测进行有意义的解释？
• RQ2 Bregman散度下的模型方差是否满足广义的总方差定律？
• RQ3 在原空间与对偶空间中进行集成对偏差与方差有何影响？
• RQ4 在Bregman散度下，来自不可控随机源的不可约偏差能否以闭式表达？
• RQ5 对偶空间视角如何统一不同损失函数下偏差与方差的行为？

主要发现

• 基于Bregman散度的偏差-方差分解中的核心预测，是对应对偶空间中期望预测的原空间形式，从而消除了其先前的模糊性。
• 模型方差满足广义的总方差定律，使得其能精确地在独立随机源之间进行分解。
• 不可控随机源以闭式贡献于偏差与方差，且已推导出明确的表达式。
• 在预测空间中进行对偶平均可降低方差而不影响偏差，即使散度不具有联合凸性。
• 原空间平均可任意改变偏差，但对偶平均始终降低方差同时保持偏差不变，推广了经典集成行为。
• 对偶空间框架统一了对称与非对称Bregman散度（包括交叉熵与KL散度）下偏差与方差的分析。