[论文解读] The Minimum of the Entropy of a Two-Dimensional Distribution with Given Marginals

Giorgio Dall’Aglio, Elisabetta Bona|arXiv (Cornell University)|Apr 8, 2011

Statistical and Computational Modeling参考文献 1被引用 3

一句话总结

本文通过将最大Fréchet分布函数的行和列重新排列，构造出最小化分布，确定了具有固定边缘分布的二维离散分布的最小熵。关键结果是，当联合分布的质量集中在对角线上时，最小熵等于边缘熵，此时在给定约束下达到最低可能的不确定性。

ABSTRACT

The paper search for the minimum of the entropy of a two- dimensional distribution in the Fréchet class, the class of distributions with given marginals. The main result for discrete distributions is an algorithm for building the minimizing distribution, which is given by the maximum distribution function of the Fréchet class after a suitable rearrangement of the rows and of the columns. For absolutely continuous distributions a minimum does not exists, and the infimum is equal to -\infty.

研究动机与目标

• 确定在Fréchet类（即具有固定边缘分布）中，使联合熵最小的分布。
• 为离散情况下生成最小化分布提供一种构造性算法。
• 分析在绝对连续情况下熵的下确界行为，此时最小值不存在。
• 刻画最小联合熵等于边缘熵的条件。

提出的方法

• 提出一种算法，通过重新排列最大Fréchet分布（M(x,y)）的行和列以最小化熵。
• 使用Fréchet边界：$ \max\{F(x)+G(y)-1,0\} \leq F(x,y) \leq \min\{F(x),G(y)\} $，在极端情况下取等号。
• 应用熵公式 $ H(X,Y) = -\sum_{r,s} p_{r,s} \log p_{r,s} $，其中 $ p_{r,s} $ 受约束于 $ \max\{p_{r,\cdot}+p_{\cdot,s}-1,0\} \leq p_{r,s} \leq \min\{p_{r,\cdot},p_{\cdot,s}\} $。
• 通过设定 $ p_{r,s}^* = p_{r,\cdot} $（当 $ r \in I_s $ 时）构造最小化分布 $ P^* $，其中 $ \{I_s\} $ 是支持集的一个划分。
• 证明当联合分布集中在对角线上时，可达到最小熵，且此时熵等于边缘熵。
• 分析连续情况，表明熵的下确界为 $ -\infty $，因此最小值不存在。

实验结果

研究问题

• RQ1 具有固定边缘分布的二维离散分布的最小可能熵是多少？
• RQ2 能否开发一种构造性算法，用于在固定边缘分布下生成最小化熵的分布？
• RQ3 在何种条件下，最小联合熵等于边缘熵？
• RQ4 对于具有固定边缘分布的绝对连续分布，熵的下确界如何？
• RQ5 最小化分布的结构如何与Fréchet边界及最大分布函数相关？

主要发现

• 具有固定边缘分布的离散双变量分布的最小熵，可通过重新排列最大Fréchet分布函数的行和列得到。
• 最小化分布的构造方式为：当 $ r \in I_s $ 时，$ p_{r,s}^* = p_{r,\cdot} $，其中 $ \{I_s\} $ 是满足 $ \sum_{r \in I_s} p_{r,\cdot} = p_{\cdot,s} $ 的指标集划分。
• 当此类划分存在时，最小联合熵等于边缘熵：$ H(X^*,Y^*) = H(X) = H(Y^*) $。
• 对于离散均匀和几何边缘分布，最小熵可显式计算，并与边缘熵一致。
• 对于具有固定边缘分布的绝对连续分布，熵的下确界为 $ -\infty $，因此最小值不存在。
• 当一个边缘分布为几何分布而另一个为均匀分布时，最小熵可无限接近最大熵，尤其在点数增加时。