[论文解读] On the Entropy Rate of Pattern Processes

G.M. Gemelos, Tsachy Weissman|ArXiv.org|Apr 12, 2005

Cellular Automata and Applications参考文献 12被引用 6

一句话总结

本论文对独立同分布、离散马尔可夫、离散平稳遍历以及具有不可数字母表的广泛平稳遍历过程的随机过程与其模式过程之间的熵率关系提供了完整的刻画。结果表明，对于独立同分布过程，模式过程的熵率等于原始过程的熵率；而对于像 [0,1] 上的连续独立同分布过程，尽管源熵为无穷大，模式熵率却为零；同时，本文完全刻画了当模式熵率为无穷大时块熵的增长速率。

ABSTRACT

We study the entropy rate of pattern sequences of stochastic processes, and its relationship to the entropy rate of the original process. We give a complete characterization of this relationship for i.i.d. processes over arbitrary alphabets, stationary ergodic processes over discrete alphabets, and a broad family of stationary ergodic processes over uncountable alphabets. For cases where the entropy rate of the pattern process is infinite, we characterize the possible growth rate of the block entropy.

研究动机与目标

• 确定随机过程的熵率与其关联模式过程之间的基本关系。
• 解决关于当原始过程具有无穷熵时，模式过程的熵率是否可能为有限或无穷的开放问题。
• 刻画当熵率为无穷时，模式过程的块熵可实现的增长速率。
• 将先前针对独立同分布和有限字母表过程的研究结果扩展到更广泛的类别，包括带记忆的不可数字母表过程。
• 为理解模式序列相对于原始源保留了多少信息，提供一个统一的理论框架。

提出的方法

• 使用重标记技术，将模式过程 Z_i 定义为 X_i 中符号首次出现的排名序列。
• 引入一个修改后的独立同分布过程 ˜X_i，用一个虚拟符号 xo 替换未出现过的符号，以保持熵率的等价性。
• 通过函数 ΦB[fX] 应用变分原理和熵界，该函数捕捉了在支持集的有限子集 B 上的经验分布的熵。
• 对条件熵 H(Z_{n+1}|Z_n) 使用下极限和上极限论证，推导熵率的上下界。
• 通过重尾分布（例如 p_i ∝ 1/(i (ln i)^{1+ε})) 的渐近分析，推导出 H(Z_{n+1}|Z_n) 的下界。
• 应用积分比较和对数近似，界定 D_l（截断分布的熵）的增长，并将其与模式过程的熵率关联起来。

实验结果

研究问题

• RQ1 对于独立同分布过程，其熵率与模式过程之间的精确关系是什么？
• RQ2 当原始过程具有无穷熵时，模式过程的熵率是否可能为有限？
• RQ3 对于有限或可数字母表上的离散平稳遍历过程，其模式过程的熵率行为如何？
• RQ4 当熵率为无穷时，模式过程的块熵可实现的增长速率有哪些？
• RQ5 对于具有记忆的不可数字母表过程（如马尔可夫或加性噪声模型），其模式过程的熵率行为如何？

主要发现

• 对于任意字母表上的独立同分布过程，模式过程的熵率 H(Z) 等于原始过程的熵率 H(X)，无论字母表是有限还是无限。
• 对于具有连续均匀 [0,1] 分布的独立同分布过程，H(X) = ∞ 但 H(Z) = 0，表明即使源具有高度不确定性，模式过程也可能不携带任何熵。
• 对于离散平稳遍历过程，模式过程的熵率下界为在支持集上经验分布的熵，且 H(Z_{n+1}|Z_n) 的极限下确界至少为 H(Φ_S[f_X])。
• 对于具有幂律尾部的分布（例如 p_i ∝ 1/(i (ln i)^{1+ε}）），条件熵 H(Z_{n+1}|Z_n) 的增长速度至少为 c (log n)^{1−ε}（c > 0 为某常数），这意味着模式过程的熵率为无穷。
• 当 H(Z) = ∞ 时，块熵 H(Z_n) 的增长速度至少为 (log n)^{1−ε}（对任意 ε ∈ (0,1)），且在特定重尾分布下该增长速率是可实现的。
• 本文证明了模式过程的熵率完全由原始过程支持集的熵决定，并提供了在极限情况下紧致的界。