[论文解读] On entropy for mixtures of discrete and continuous variables

Chandra Nair, Balaji Prabhakar+1 more|ArXiv.org|Jul 14, 2006

Bayesian Methods and Mixture Models参考文献 3被引用 24

一句话总结

本文通过扩展经典离散熵和微分熵，提出了一种统一的熵框架，用于处理包含离散与连续分量的混合对随机变量。该方法确保在涉及此类混合变量的双射变换下熵保持不变，从而为泊松分裂等系统中的熵速率恒等式提供了严格依据，关键结果表明分裂泊松过程的熵速率与理论预期一致。

ABSTRACT

Let $X$ be a discrete random variable with support $S$ and $f : S o S^\prime$ be a bijection. Then it is well-known that the entropy of $X$ is the same as the entropy of $f(X)$. This entropy preservation property has been well-utilized to establish non-trivial properties of discrete stochastic processes, e.g. queuing process \cite{prg03}. Entropy as well as entropy preservation is well-defined only in the context of purely discrete or continuous random variables. However for a mixture of discrete and continuous random variables, which arise in many interesting situations, the notions of entropy and entropy preservation have not been well understood. In this paper, we extend the notion of entropy in a natural manner for a mixed-pair random variable, a pair of random variables with one discrete and the other continuous. Our extensions are consistent with the existing definitions of entropy in the sense that there exist natural injections from discrete or continuous random variables into mixed-pair random variables such that their entropy remains the same. This extension of entropy allows us to obtain sufficient conditions for entropy preservation in mixtures of discrete and continuous random variables under bijections. The extended definition of entropy leads to an entropy rate for continuous time Markov chains. As an application, we recover a known probabilistic result related to Poisson process. We strongly believe that the frame-work developed in this paper can be useful in establishing probabilistic properties of complex processes, such as load balancing systems, queuing network, caching algorithms.

研究动机与目标

• 解决混合对随机变量（包含离散与连续分量）缺乏一致熵定义的问题。
• 为涉及混合变量的双射变换下的熵保持性提供严格基础，这对分析复杂随机系统至关重要。
• 使网络与排队论中常用于的直观‘信息保持’论证得以形式化证明。
• 将熵速率概念扩展至具有混合变量动态的连续时间马尔可夫链。
• 简化并严格证明在具有固有离散选择与连续时间特性的系统中已知的概率结果。

提出的方法

• 定义一种混合熵度量 $\mathbb{H}$，其推广了混合对变量 $Z = (X,Y)$ 的离散熵 $H(X)$ 和微分熵 $h(Y)$。
• 通过要求纯离散或连续变量在嵌入至混合对框架时熵保持不变，确保一致性。
• 通过基于雅可比行列式（变换矩阵行列式）的准则，建立双射变换下熵保持的充分条件。
• 通过时间区间上经验熵的极限行为，将该框架应用于连续时间过程。
• 利用平稳遍历过程的熵速率公式，计算并比较变换后系统中的熵速率。
• 利用基于排列的映射（例如通过抛硬币将点分配至过程）的雅可比行列式为 $\pm 1$ 的事实，证明在所提定义下熵得以保持。

实验结果

研究问题

• RQ1 如何为一个由离散与连续分量混合而成的随机变量一致地定义熵？
• RQ2 在何种条件下，混合对随机变量之间的双射变换能保持熵？
• RQ3 泊松分裂中的直观熵速率恒等式（总熵等于各分量熵之和加上抛硬币的熵）能否得到严格证明？
• RQ4 具有混合离散-连续状态动态的连续时间马尔可夫链的熵速率是多少？
• RQ5 所提出的熵框架如何简化或严格证明排队与负载均衡系统中已知结果的证明？

主要发现

• 所提出的熵度量 $\mathbb{H}$ 在将纯离散或连续变量嵌入混合对框架时，保持其熵值，确保了定义的一致性。
• 在泊松分裂中，原始过程 $\mathcal{P}$ 与抛硬币过程的熵速率之和等于两个独立子过程 $\mathcal{P}_1$ 与 $\mathcal{P}_2$ 的联合熵速率，验证了恒等式 $H_{ER}(\mathcal{P}_1,\mathcal{P}_2) = H_{ER}(\mathcal{P}) + \lambda(-p\log p - (1-p)\log(1-p))$。
• 严格证明了 $\mathcal{P}_1$ 的熵速率为 $\lambda p(1 - \log \lambda p)$，与速率 $\lambda p$ 的泊松过程的已知熵速率一致。
• 类似地，$\mathcal{P}_2$ 的熵速率被确认为 $\lambda(1-p)(1 - \log \lambda(1-p))$，验证了理论预期。
• 该框架实现了对涉及混合变量的双射变换下熵速率保持性的严格证明，尤其在雅可比行列式为 $\pm 1$ 的情况下（如基于排列的映射）。
• 具有混合动态的连续时间马尔可夫链的熵速率可通过状态轨迹在时间上的极限平均熵计算得出，从而将该概念扩展至混合系统。