[论文解读] Weighted information and entropy rates

Yuri Suhov, Izabella Stuhl|arXiv (Cornell University)|Dec 29, 2016

Statistical Mechanics and Entropy参考文献 14被引用 3

一句话总结

本文通过使用加法权重函数（WF）和乘法权重函数，引入了随机过程的加权微分熵和信息速率，并建立了渐近标度律：加法WF下为 $\frac{1}{n^2}H^\mathrm{w}_{\phi_n}$，乘法WF下为 $\frac{1}{n}\log H^\mathrm{w}_{\phi_n}$。研究推导了遍历过程与马尔可夫过程中的主速率与次速率，并将香农–麦克米伦–布赖安定理推广至高斯过程中的加权熵，给出了在二次型与指数型权重函数下熵速率的显式公式。

ABSTRACT

The weighted entropy $H^{ m w}_ϕ(X)=H^{ m w}_ϕ(f)$ of a random variable $X$ with values $x$ and a probability-mass/density function $f$ is defined as the mean value ${\mathbb E} I^{ m w}_ϕ(X)$ of the weighted information $I^{ m w}_ϕ(x)=-ϕ(x)\log\,f(x)$. Here $x\mapstoϕ(x)\in{\mathbb R}$ is a given weight function (WF) indicating a 'value' of outcome $x$. For an $n$-component random vector ${\mathbf{X}}_0^{n-1}=(X_0,\ldots ,X_{n-1})$ produced by a random process ${\mathbf{X}}=(X_i,i\in{\mathbb Z})$, the weighted information $I^{ m w}_{ϕ_n}({\mathbf x}_0^{n-1})$ and weighted entropy $H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$ are defined similarly, with an WF $ϕ_n({\mathbf x}_0^{n-1})$. Two types of WFs $ϕ_n$ are considered, based on additive and a multiplicative forms ($ϕ_n({\mathbf x}_0^{n-1})=\sum\limits_{i=0}^{n-1}φ (x_i)$ and $ϕ_n({\mathbf x}_0^{n-1})=\prod\limits_{i=0}^{n-1}φ (x_i)$, respectively). The focus is upon ${\it rates}$ of the weighted entropy and information, regarded as parameters related to ${\mathbf{X}}$. We show that, in the context of ergodicity, a natural scale for an asymptotically additive/multiplicative WF is $\frac{1}{n^2}H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$ and $\frac{1}{n}\log\;H^{ m w}_{ϕ_n}({\mathbf{X}}_0^{n-1})$, respectively. This gives rise to ${\it primary}$ ${\it rates}$. The next-order terms can also be identified, leading to ${\it secondary}$ ${\it rates}$. We also consider emerging generalisations of the Shannon-McMillan-Breiman theorem.

研究动机与目标

• 通过引入反映结果重要性的值依赖型权重函数（WF），将熵速率的概念扩展至加权熵。
• 定义并分析随机过程的加权信息与熵速率，特别关注遍历、马尔可夫与高斯过程。
• 确定加权熵速率的适当渐近标度——加法WF下为 $\frac{1}{n^2}$，乘法WF下为 $\frac{1}{n}\log$，从而导出主速率与次速率参数。
• 在平稳过程背景下，将香农–麦克米伦–布赖安定理推广至加权熵。
• 推导高斯过程中在二次型与指数型权重函数下加权熵速率的显式表达式。

提出的方法

• 定义加权信息为 $I^{\mathrm{w}}_{\phi}(x) = -\phi(x)\log f(x)$，其中 $\phi(x)$ 为反映结果值的权重函数，加权熵定义为 $H^{\mathrm{w}}_{\phi}(X) = \mathbb{E}[I^{\mathrm{w}}_{\phi}(X)]$。
• 将定义扩展至向量值过程 $\mathbf{X}_{0}^{n-1}$，联合加权熵为 $H^{\mathrm{w}}_{\phi_n}(f_n) = \mathbb{E}[I^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})]$，其中 $\phi_n(\mathbf{x}_{0}^{n-1})$ 为权重函数。
• 考虑两类权重函数：加法型（$\phi_n = \sum_{i=0}^{n-1} \varphi(x_i)$）与乘法型（$\phi_n = \prod_{i=0}^{n-1} \varphi(x_i)$），乘法型中要求 $\varphi \geq 0$。
• 建立渐近标度：加法WF下为 $\frac{1}{n^2}H^{\mathrm{w}}_{\phi_n}$，乘法WF下为 $\frac{1}{n}\log H^{\mathrm{w}}_{\phi_n}$，用于定义主速率。
• 通过分析熵速率展开中的下一阶渐近项，推导次速率项。
• 将该框架应用于高斯过程，结合矩生成函数与矩阵代数，推导出在二次型与指数型权重函数下 $H^{\mathrm{w}}_{\phi_n}(f_n)$ 的显式公式。

实验结果

研究问题

• RQ1 在平稳过程中使用加法与乘法权重函数时，加权熵速率的正确渐近标度是什么？
• RQ2 在遍历与马尔可夫过程的加权熵渐近展开中，主速率与次速率如何产生？
• RQ3 香农–麦克米伦–布赖安定理能否推广至加法与乘法权重函数下的加权熵？
• RQ4 在二次型与指数型权重函数下，高斯过程的加权熵速率的显式表达式是什么？
• RQ5 当权重函数非恒定时，加权熵速率与标准熵速率之间有何关系？

主要发现

• 对于加法权重函数 $\phi_n = \sum_{i=0}^{n-1} \varphi(x_i)$，主加权熵速率定义为 $\lim_{n \to \infty} \frac{1}{n^2} H^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})$，次速率由下一阶项产生。
• 对于乘法权重函数 $\phi_n = \prod_{i=0}^{n-1} \varphi(x_i)$，主速率为 $\lim_{n \to \infty} \frac{1}{n} \log H^{\mathrm{w}}_{\phi_n}(\mathbf{X}_{0}^{n-1})$，并存在相应的次速率项。
• 在高斯过程且 $\phi_n(\mathbf{x}_{0,n-1}) = \exp(\mathbf{x}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1})$ 的情况下，加权熵速率满足 $H^{\mathrm{w}}_{\phi_n}(f_n) = H(f_n) \exp(\frac{1}{2} \mathbf{t}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1})$，将加权熵与标准熵联系起来。
• 在高斯过程且 $\phi_n(\mathbf{x}_{0,n-1}) = \exp(\frac{1}{2} \mathbf{x}^T_{0,n-1} \mathbf{A}_n \mathbf{x}_{0,n-1})$ 的情况下，加权熵为 $H^{\mathrm{w}}_{\phi_n}(f_n) = \frac{H(f_n) + \mathrm{tr}[(\mathbf{I}_n - \mathbf{A}_n \mathbf{C}_n)^{-1}] \log e}{2 [\det(\mathbf{I}_n - \mathbf{C}_n \mathbf{A}_n)]^{1/2}}$，提供了显式公式。
• 当且仅当 $\frac{H(f_n)}{a(n)} \to \alpha$ 时，有 $\frac{H^{\mathrm{w}}_{\phi_n}(f_n)}{a(n)} \exp(-\frac{1}{2} \mathbf{t}^T_{0,n-1} \mathbf{C}_n^{-1} \mathbf{t}_{0,n-1}) \to \alpha$，表明在特定权重函数下，标准熵速率与加权熵速率收敛性等价。
• 当 $\mathbf{t} = \mathbf{0}$ 时，加权熵速率 $H^{\mathrm{w}}_{\phi_n}(f_n)$ 与 $H(f_n)$ 成正比，校正项涉及 $\mathbf{I}_n - \mathbf{C}_n \mathbf{A}_n$ 的迹与行列式，从而实现精确的渐近分析。