[论文解读] PAC-Bayesian Bound for the Conditional Value at Risk

Zakaria Mhammedi, Benjamin Guedj+1 more|arXiv (Cornell University)|Jun 26, 2020

Risk and Portfolio Optimization参考文献 42被引用 12

一句话总结

本文提出了针对最小化经验损失条件风险价值（CVaR）的学习算法的PAC-Bayesian泛化界。通过将CVaR估计简化为期望估计，作者推导出适用于无界随机变量的精确集中不等式，从而获得与风险水平α呈有利比例关系的紧泛化界。

ABSTRACT

Conditional Value at Risk (CVaR) is a family of "coherent risk measures" which generalize the traditional mathematical expectation. Widely used in mathematical finance, it is garnering increasing interest in machine learning, e.g., as an alternate approach to regularization, and as a means for ensuring fairness. This paper presents a generalization bound for learning algorithms that minimize the CVaR of the empirical loss. The bound is of PAC-Bayesian type and is guaranteed to be small when the empirical CVaR is small. We achieve this by reducing the problem of estimating CVaR to that of merely estimating an expectation. This then enables us, as a by-product, to obtain concentration inequalities for CVaR even when the random variable in question is unbounded.

研究动机与目标

• 为解决最小化CVaR的学习算法缺乏泛化界的问题，CVaR是一种在机器学习中日益用于提升鲁棒性和公平性的相干风险度量。
• 将PAC-Bayesian分析扩展至CVaR最小化，尽管其重要性日益增长，但尚未得到系统研究。
• 推导适用于无界损失随机变量的CVaR集中不等式。
• 提供一个当经验CVaR较小时也较小的泛化界，从而确保可靠的泛化性能。

提出的方法

• 作者通过损失分布的新型变换，将CVaR估计问题转化为标准期望估计问题。
• 利用该归约方法，推导出新的CVaR集中不等式，明确给出常数及对风险水平α的依赖关系。
• 该方法适用于次高斯和次指数损失分布，从而可获得对无界但行为良好的损失的界。
• 关键技术贡献是采用分位数分解以控制经验CVaR与真实CVaR之间的偏差。
• 该方法在α上的依赖关系优于先前结果，且可通过优化指数项进一步改进。
• 该框架被扩展至φ-熵风险度量，表明其在相干风险度量中的更广泛应用潜力。

实验结果

研究问题

• RQ1 能否为最小化CVaR而非标准期望损失的学习算法推导出PAC-Bayesian泛化界？
• RQ2 当损失随机变量无界时，如何建立CVaR的集中不等式？
• RQ3 泛化界对风险水平α的依赖关系如何？与现有结果相比是否可进一步改进？
• RQ4 CVaR估计到期望估计的归约方法能否推广至其他相干风险度量？

主要发现

• 本文建立了CVaR最小化问题的PAC-Bayesian泛化界，当经验CVaR较小时该界保证较小。
• 推导出适用于无界随机变量的新型CVaR集中不等式，明确给出常数及对α的依赖关系。
• 对于次高斯损失，该界表现出√(ln(1/δ)/(αn))的依赖关系，其中风险水平α出现在平方根内的分母中。
• 对于有界随机变量，该界用CVaR[Z]替代了Z的范围，优于先前使用全范围的结果。
• 作者推测指数中的α²依赖关系可改进为α，从而进一步收紧界。
• 该方法被扩展至φ-熵风险度量，表明其在鲁棒学习中相干风险度量的更广泛应用潜力。