[论文解读] Tailoring to the Tails: Risk Measures for Fine-Grained Tail Sensitivity

Christian Fröhlich, Robert C. Williamson|arXiv (Cornell University)|Aug 5, 2022

Risk and Portfolio Optimization被引用 4

一句话总结

本文提出了一种通用框架，通过指定控制尾部分布行为的参考分布及其关联的上概率，构建细粒度且对尾部敏感的一致风险度量。该方法使用 f-散度模糊集，并将风险度量与重排不变的 Banach 范数联系起来，使机器学习从业者能够将经验风险最小化中的期望替换为针对特定尾部敏感度定制的风险度量。

ABSTRACT

Expected risk minimization (ERM) is at the core of many machine learning systems. This means that the risk inherent in a loss distribution is summarized using a single number - its average. In this paper, we propose a general approach to construct risk measures which exhibit a desired tail sensitivity and may replace the expectation operator in ERM. Our method relies on the specification of a reference distribution with a desired tail behaviour, which is in a one-to-one correspondence to a coherent upper probability. Any risk measure, which is compatible with this upper probability, displays a tail sensitivity which is finely tuned to the reference distribution. As a concrete example, we focus on divergence risk measures based on f-divergence ambiguity sets, which are a widespread tool used to foster distributional robustness of machine learning systems. For instance, we show how ambiguity sets based on the Kullback-Leibler divergence are intricately tied to the class of subexponential random variables. We elaborate the connection of divergence risk measures and rearrangement invariant Banach norms.

研究动机与目标

• 解决期望风险最小化（ERM）的局限性，后者忽略尾部分布行为，可能导致高方差或灾难性预测。
• 为机器学习从业者提供一种系统化方法，以控制风险度量中的尾部敏感度，实现风险规避或模糊规避学习。
• 将多种风险度量（如 f-散度、Marcinkiewicz、Lorentz 及基于效用的短缺度量）统一于基于重排不变 Banach 空间的理论框架之下。
• 建立基本函数（来自 Orlicz 空间）的选择与风险度量尾部敏感度之间清晰的联系。
• 证明 f-散度风险度量自然地作为 Orlicz 风险度量的扩展而出现，从而支持实际实现与偏差不等式推导。

提出的方法

• 定义具有期望尾部分布行为的参考分布，其诱导出一致的上概率，从而生成具有可控尾部敏感度的风险度量。
• 使用以经验分布 P 为中心的 f-散度模糊集来建模分布鲁棒性，其中散度函数 f 控制允许的重新加权，从而控制尾部分布行为。
• 通过基本函数建立 f-散度风险度量与 Orlicz 范数之间的对应关系，实现对尾部敏感度的细粒度控制。
• 推导出等价的风险度量，如 Marcinkiewicz 和 Lorentz 范数，这些度量具有相同的尾部敏感度，可在优化中作为替代方案。
• 利用重排不变 Banach 空间理论统一并推广现有风险度量，包括 CVar 和谱风险度量。
• 提供基于下确界的表示形式（公式 36），便于在 PyTorch 等深度学习框架中实现，支持批量设置下的高效优化。

实验结果

研究问题

• RQ1 如何系统性地构建风险度量，使其在机器学习中表现出期望的尾部敏感度？
• RQ2 f-散度函数 f 的选择与所诱导风险度量的尾部分布行为之间存在何种关系？
• RQ3 不同的一致风险度量（如 Marcinkiewicz、Lorentz 和 Orlicz 范数）在尾部敏感度与实际可实现性方面如何相互关联？
• RQ4 重排不变 Banach 空间的基函数能否作为按尾部敏感度对风险度量进行分类的统一标准？
• RQ5 在经验风险最小化中以这些风险度量替代期望，其影响是什么，特别是在有限样本下的估计稳定性与收敛性方面？

主要发现

• f-散度函数 f 的选择直接决定了所生成风险度量的尾部敏感度，其中 KL 散度对应亚指数尾部。
• f-散度风险度量等价于某些 Orlicz 风险度量，且相关 Orlicz 空间的基函数完全刻画了尾部敏感度。
• Marcinkiewicz 范数及其对应的风险度量等价于高度敏感于尾部的 f-散度风险度量，提供了一种计算上可行的替代方案。
• 基于下确界的表示形式（公式 36）支持在深度学习框架中高效实现，仅需在 PyTorch 中添加一行代码即可完成训练。
• 可为 f-散度风险度量推导出偏差不等式，支持理论分析与泛化界推导。
• 本文推测，更敏感于尾部的风险度量从有限样本中估计更困难，暗示了鲁棒性与统计稳定性之间的权衡。