[论文解读] On the Capacity of Constrained Systems

Georg Böcherer, Valdemar C. da Rocha+1 more|ArXiv.org|Nov 5, 2009

Computability, Logic, AI Algorithms参考文献 6被引用 3

一句话总结

本文通过使用生成函数将受限系统的容量推广至正则语言之外，将组合容量定义为生成函数的收敛横坐标，并证明任意输入过程的最大熵速率始终受此值的上界约束。该框架提出了一种新方法，通过构造最大熵输入过程来建立组合容量与最大熵速率相等的关系，以 (j,k) 运行长度约束为例，推导出闭式容量公式。

ABSTRACT

In the first chapter of Shannon's "A Mathematical Theory of Communication," it is shown that the maximum entropy rate of an input process of a constrained system is limited by the combinatorial capacity of the system. Shannon considers systems where the constraints define regular languages and uses results from matrix theory in his derivations. In this work, the regularity constraint is dropped. Using generating functions, it is shown that the maximum entropy rate of an input process is upper-bounded by the combinatorial capacity in general. The presented results also allow for a new approach to systems with regular constraints. As an example, the results are applied to binary sequences that fulfill the (j,k) run-length constraint and by using the proposed framework, a simple formula for the combinatorial capacity is given and a maxentropic input process is defined.

研究动机与目标

• 将受限系统容量理论从正则语言及‘权重不过密’假设中扩展出来。
• 使用生成函数定义广义的组合容量，在先前假设下可退化为经典定义。
• 通过构造最大熵输入过程，提出一种新方法以证明组合容量与最大熵速率相等。
• 为 (j,k) 运行长度约束提供简单且闭式的组合容量表达式。

提出的方法

• 通过将符号权重设为正实数，使用参数为 s 的指数生成函数表示受限系统。
• 将组合容量定义为生成函数的收敛横坐标，推广先前的定义。
• 应用复分析中的已知结果，证明收敛横坐标等于受限序列的增长率。
• 构造一个在有限加权块集合上独立同分布的输入过程，将概率分配为与 e^(-w(y)R) 成比例，其中 R 为组合容量。
• 利用涉及 H(Y₁,…,Yₗ)/E[w(cat(Y₁,…,Yₗ))] 的上极限的熵速率公式，证明当分布正确归一化时，其值等于 R。
• 利用熵速率的上界（定理 2）证明：达到容量 R 的过程即为最大熵过程。

实验结果

研究问题

• RQ1 是否可以在不假设正则性或‘权重不过密’的前提下，定义并计算受限系统的组合容量？
• RQ2 任意输入过程的最大熵速率是否始终受系统生成函数收敛横坐标的上界约束？
• RQ3 对于熵速率等于组合容量的系统，能否显式构造出最大熵输入过程？
• RQ4 该新框架是否能简化容量推导与输入过程设计，特别是针对 (j,k) 等正则约束？
• RQ5 生成函数方法是否可替代容量分析中的矩阵理论方法？

主要发现

• 即使权重集合密集或约束非正则，受限系统的组合容量仍等于其生成函数的收敛横坐标。
• 任意输入过程的最大熵速率始终受生成函数收敛横坐标（即广义组合容量）的上界约束。
• 利用新框架，为 (j,k) 运行长度约束推导出简单闭式的组合容量公式。
• 通过为 (j,k) 约束分配 i.i.d. 符号并赋予概率 e^(-w(y)R)，其中 R 为容量，显式构造出最大熵输入过程。
• 该构造过程的熵速率等于组合容量，证明其为最大熵过程。
• 该框架提供了一种新且通用的方法，通过构造实现最大熵速率与组合容量相等的证明，避免了复杂的矩阵理论推导。