[论文解读] Toward a Characterization of Loss Functions for Distribution Learning

Nika Haghtalab, Cameron Musco+1 more|arXiv (Cornell University)|Jun 6, 2019

Machine Learning and Algorithms参考文献 22被引用 5

一句话总结

本文提出了一套用于表征分布学习中损失函数的框架，通过识别公理化标准（如正确性、局部性及强正确性）来评估候选分布。研究发现，尽管没有任何损失函数能普遍满足所有标准，但当候选分布被限制为校准分布（即不扭曲真实分布的分布）时，可使一大类损失函数——包括对数损失和新型损失如倒根损失——满足这些标准，从而在高维分布学习中为对数损失提供有原则的替代方案。

ABSTRACT

In this work we study loss functions for learning and evaluating probability distributions over large discrete domains. Unlike classification or regression where a wide variety of loss functions are used, in the distribution learning and density estimation literature, very few losses outside the dominant $log\ loss$ are applied. We aim to understand this fact, taking an axiomatic approach to the design of loss functions for learning distributions. We start by proposing a set of desirable criteria that any good loss function should satisfy. Intuitively, these criteria require that the loss function faithfully evaluates a candidate distribution, both in expectation and when estimated on a few samples. Interestingly, we observe that \emph{no loss function} possesses all of these criteria. However, one can circumvent this issue by introducing a natural restriction on the set of candidate distributions. Specifically, we require that candidates are $calibrated$ with respect to the target distribution, i.e., they may contain less information than the target but otherwise do not significantly distort the truth. We show that, after restricting to this set of distributions, the log loss, along with a large variety of other losses satisfy the desired criteria. These results pave the way for future investigations of distribution learning that look beyond the log loss, choosing a loss function based on application or domain need.

研究动机与目标

• 识别分布学习中良好损失函数应满足的公理化标准。
• 探究尽管存在其他潜在损失，为何对数损失在分布学习中占据主导地位。
• 表征在高维离散域中，替代损失函数既能正确又能鲁棒的条件。
• 证明将候选分布限制为与目标校准的分布，可使非对数损失更广泛适用。
• 提出并分析一类新的正确损失函数，包括倒根损失，其在 ℓ₁ 范数下为强正确。

提出的方法

• 提出一组公理化标准：正确性（在真实分布处期望损失最小）、局部性（损失仅依赖于观测结果的预测概率）以及强正确性（损失差与分布距离成比例）。
• 引入“校准分布”的概念——即不扭曲真实信息但可能信息量少于目标的分布——从而实现更强的理论保证。
• 利用 Bregman 散度与强严格凹性来形式化强正确性，尤其在 ℓ₁ 与 ℓ₂ 范数下。
• 通过分析熵函数的二阶导数，推导出一类新的正确损失函数，得到基于 h(q_x) = q_x^{1−α}（0 < α < 1）的损失形式。
• 将倒根损失构造为特定实例（α = 0.5），得到 ℓ(q,x) = 1/√q_x + ∑√q_x′，其对应的 Bregman 散度为 D_H(p,q) = ∑(√p_x − √q_x)² / √q_x。
• 证明当 ∑f(q_x) ≤ 1（其中 f(q_x) = q_x^{1+α}）时，所得损失在 ℓ₁ 范数下为 1-强正确。

实验结果

研究问题

• RQ1 用于分布学习的损失函数应满足哪些公理化属性，以确保对候选分布的忠实评估？
• RQ2 尽管存在其他潜在损失，为何对数损失在分布学习中占据主导地位？
• RQ3 我们能否识别出一个超越对数损失的更广泛损失函数类，使其在高维离散域中既正确又鲁棒？
• RQ4 在何种条件下，非对数损失可实现强正确性并保持对真实分布的忠实性？
• RQ5 能否利用强严格凹性与 Bregman 散度框架构造出新颖且行为良好的损失函数？

主要发现

• 没有任何损失函数能普遍满足所有理想标准（正确性、局部性、强正确性）于所有候选分布。
• 当限制在不扭曲真实信息的校准分布时，对数损失及其他多种损失函数可同时满足全部理想标准。
• 倒根损失（定义为 h(q_x) = 2√q_x）是一种新型正确损失，在 ℓ₁ 范数下为 1-强正确，其 Bregman 散度类似于平方 Hellinger 距离。
• 当 α = 0.5 时，所得损失函数 ℓ(q,x) = 1/√q_x + ∑√q_x′ 实现强正确性，且在单纯形上保持有界，避免了其他形式可能存在的无界问题。
• 本文证明了二次损失在 ℓ₂ 范数下为 1-强正确，但该性质在实际应用中不如基于 ℓ₁ 的强正确性有用。
• 基于 h(q_x) = q_x^{1−α}（0 < α < 1）的损失类可生成一类正确、有界且强正确的损失函数，其泛化能力超越对数损失。