[论文解读] Relative $\alpha$-Entropy Minimizers Subject to Linear Statistical Constraints

M. Ashok Kumar, Rajesh Sundaresan|arXiv (Cornell University)|Oct 18, 2014

Statistical Mechanics and Entropy参考文献 6被引用 4

一句话总结

本文引入并分析了在线性统计约束下相对 α-熵最小化问题，将经典的 I-投影（Kullback-Leibler 散度）推广至参数族 Iα(P, Q)。证明了在对线性分布族进行 Iα-投影时，结果为幂律分布，推广了 α=1 时的指数族解，并建立了关键性质，包括勾股不等式与唯一性。

ABSTRACT

We study minimization of a parametric family of relative entropies, termed relative $\alpha$-entropies (denoted $\mathscr{I}_{\alpha}(P,Q)$). These arise as redundancies under mismatched compression when cumulants of compressed lengths are considered instead of expected compressed lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative $\alpha$-entropies behave like squared Euclidean distance and satisfy the Pythagorean property. Minimization of $\mathscr{I}_{\alpha}(P,Q)$ over the first argument on a set of probability distributions that constitutes a linear family is studied. Such a minimization generalizes the maximum R\'{e}nyi or Tsallis entropy principle. The minimizing probability distribution (termed $\mathscr{I}_{\alpha}$-projection) for a linear family is shown to have a power-law.

研究动机与目标

• 将经典的 I-投影（Kullback-Leibler 散度）推广至参数族相对 α-熵 Iα(P, Q)。
• 分析在第一变量上对 Iα(P, Q) 在线性统计约束下的最小化问题。
• 刻画对概率分布线性族进行 Iα-投影的结构。
• 建立 Iα-投影的基础性质，如勾股不等式与唯一性。
• 将最小化器与幂律分布联系起来，类比于 α=1 时的指数族。

提出的方法

• 提出基于累积量冗余的相对熵参数化推广，定义为 Iα(P, Q)，用于失配压缩场景。
• 使用拉格朗日乘子法，推导在等式线性约束下 Iα-投影的最优性条件。
• 推导出 Iα-投影的闭式表达式：P∗(x) ∝ [Q(x)α−1 + (1−α)∑θi∗fi(x)]1/(α−1)+。
• 建立勾股不等式：对所有 P 属于线性族，有 Iα(P, Q) ≥ Iα(P, P∗) + Iα(P∗, Q)。
• 利用 Iα(·, Q) 的凸性与连续性，证明 Iα-投影的唯一性。
• 分析其支撑集条件，并证明当 Supp(P∗) = Supp(L) 时，勾股不等式取等。

实验结果

研究问题

• RQ1 当 α > 1 时，相对 α-熵 Iα(P, Q) 在线性分布族上的最小化器具有何种结构？
• RQ2 Iα-投影如何推广经典 I-投影（α=1）与最大熵原理？
• RQ3 相对 α-熵是否满足勾股性质？在何种条件下取等？
• RQ4 累积量参数 ρ 在 Iα 作为分歧度量出现的过程中起何作用？
• RQ5 最小化器的支撑集如何与约束集的支撑集及参考测度 Q 相关联？

主要发现

• 当 α > 1 时，Q 对线性族 L 的 Iα-投影唯一，且形式为 P∗(x) = Z−1 [Q(x)α−1 + (1−α)∑θi∗fi(x)]1/(α−1)+。
• 最小化器属于 α-幂律族，推广了 α=1 时的指数族解。
• 对所有 P ∈ L，勾股不等式 Iα(P, Q) ≥ Iα(P, P∗) + Iα(P∗, Q) 成立，且当且仅当 Supp(P∗) = Supp(L) 时取等。
• 最小化器满足由拉格朗日优化导出的 Karush-Kuhn-Tucker 条件，激活约束与 P∗ 的支撑集相关。
• 当 α > 1 时，Iα(P, Q) 有限当且仅当 Supp(P) ⊆ Supp(Q)，否则发散。
• 极限 limα→1 Iα(P, Q) = I(P∥Q) 确认了 Iα 对 Kullback-Leibler 散度的推广。