[论文解读] Single-Letter Characterization of Epsilon-Capacity for Mixed Memoryless Channels

Hideki Yagi, Ryo Nomura|arXiv (Cornell University)|Jul 1, 2014

Advanced Memory and Neural Computing被引用 3

一句话总结

该论文首次为具有有限输入字母表和一般输出字母表的混合记忆less信道（最多可数个平稳记忆less信道组成）在无约束和成本约束两种设置下，提供了ε-容量的单字母表征。当ε = 0时，该表征退化为Ahlswede的信道容量公式，其证明基于信息谱方法与Polyanskiy、Poor和Verdú提出的特定化元反证界（meta-converse bound）的结合。

ABSTRACT

For the class of mixed channels decomposed into stationary memoryless channels, single-letter characterizations of the $\varepsilon$-capacity have not been known except for restricted classes of channels such as the regular decomposable channel introduced by Winkelbauer. This paper gives single-letter characterizations of $\varepsilon$-capacity for mixed channels decomposed into at most countably many memoryless channels with a finite input alphabet and a general output alphabet with/without cost constraints. It is shown that a given characterization reduces to the one for the channel capacity given by Ahlswede when $\varepsilon$ is zero. In the proof of the coding theorem, the meta converse bound, originally given by Polyanskiy, Poor and Verdú, is particularized for the mixed channel decomposed into general component channels.

研究动机与目标

• 通过为混合记忆less信道提供ε-容量的单字母表征，填补信息论中长期存在的空白。
• 将已知结果扩展至Winkelbauer所研究的规则可分解信道类之外的更广范围。
• 建立一个严格且可计算的ε-容量表达式，避免对块长n进行极限运算。
• 将成本约束纳入混合信道ε-容量表征中。
• 通过元反证界与信息谱方法结合的编码定理，验证该表征的有效性。

提出的方法

• 利用信息谱方法与混合信道的特定化元反证界，推导出ε-容量的单字母表达式。
• 应用假设检验中α与β之间的对偶性，通过αβ函数界定向误差概率。
• 以最大似然译码器的错误概率作为下界，推导出可达速率的反证界。
• 引入权重为{wℓ}的分量信道混合，以建模整体混合信道的行为。
• 基于切比雪夫不等式，采用集中性论证来控制信道输出对数似然比的偏离。
• 通过证明：任何速率超过所提表达式的码必定违反ε-错误约束，从而建立反证。

实验结果

研究问题

• RQ1 能否为具有有限输入字母表和一般输出字母表的混合记忆less信道（超越规则可分解信道等受限类）推导出ε-容量的单字母表达式？
• RQ2 当ε = 0时，所提出的单字母表征是否退化为Ahlswede的信道容量公式？
• RQ3 如何对元反证界进行适配并应用于混合信道，以建立紧致的反证界？
• RQ4 该表征能否扩展至包含混合信道设置中的输入成本约束？
• RQ5 所得的ε-容量表达式是否可在不依赖块长n极限运算的情况下实现可计算性？

主要发现

• 该论文为最多可数个分量信道的混合记忆less信道建立了ε-容量的单字母表达式，适用于无约束与成本约束的输入场景。
• 当ε = 0时，所提出的表征退化为Ahlswede的单字母信道容量公式，与经典结果保持一致。
• 反证界基于元反证界的特定化版本推导得出，且证明对混合信道具有紧致性。
• 编码定理由信息谱方法证明，误差概率界通过假设检验对偶性与集中不等式导出。
• 该表征被证明可在不依赖块长n的极限运算下实现可计算性，优于以往基于极限的公式。
• 该结果将单字母公式的适用范围扩展至非遍历、非平稳场景，如建模为混合信道的块衰落信道。