[论文解读] On the Capacity of Channels with Deletions and States

Yonglong Li, Vincent Y. F. Tan|arXiv (Cornell University)|Nov 10, 2019

DNA and Biological Computing参考文献 20被引用 6

一句话总结

该论文证明，由删除信道与有限状态信道（FSC）级联而成的信道的容量等于其平稳容量，且可通过马尔可夫近似方案（马尔可夫阶数递增）逼近该容量。作为关键副产品，该研究证明了Tal、Pfister、Fazeli和Vardy提出的极化编码方案能够达到删除信道的容量，即通过常规隐马尔可夫输入可逼近真实容量。

ABSTRACT

We consider the class of channels formed from the concatenation of a deletion channel and a finite-state channel. For this class of channels, we show that the operational capacity is equal to the stationary capacity, which can be approached by a sequence of Markov processes with increasing Markovian orders. As a by-product, we show that the polar coding scheme constructed by Tal, Pfister, Fazeli and Vardy achieves the capacity of the deletion channel.

研究动机与目标

• 分析由删除信道与有限状态信道（FSC）级联构成的通信信道的容量。
• 证明该信道模型的容量等于其平稳容量。
• 通过证明随着马尔可夫阶数增加，马尔可夫容量收敛于操作容量，验证该类信道的马尔可夫近似方案的有效性。
• 解决关于常规隐马尔可夫输入是否能实现删除-FSC信道容量的开放性问题。
• 证明Tal等人提出的极化编码方案可实现删除信道的容量。

提出的方法

• 将信道模型形式化为删除信道与FSC的级联，其中输入序列经历随机删除和状态相关转移。
• 引入m阶马尔可夫容量的概念，通过在马尔可夫输入过程中优化得到该容量。
• 利用常规隐马尔可夫输入的强极化特性，并结合FSC的不可分解性，证明马尔可夫容量序列收敛于操作容量。
• 采用耦合论证方法，界定不同初始状态下条件输出分布之间的总变差距离，证明渐近状态无关性。
• 利用块内删除数量服从二项分布的特性，通过集中不等式控制初始状态不确定性的影响。
• 将马尔可夫近似框架与近期关于记忆信道极化的研究成果相结合，建立容量可达的编码方案。

实验结果

研究问题

• RQ1 对于删除信道与FSC的级联，马尔可夫近似方案是否收敛于操作容量？
• RQ2 常规隐马尔可夫输入能否实现删除-FSC信道的容量？
• RQ3 Tal等人提出的极化编码方案是否能实现删除信道的容量？
• RQ4 删除-FSC信道的平稳容量是否与其操作容量一致？
• RQ5 FSC组件在不同初始状态下输出分布的渐近行为如何？

主要发现

• 删除-FSC信道的操作容量等于其平稳容量，解决了删除与记忆性信道容量理论中的一个关键问题。
• 随着马尔可夫阶数m的增加，m阶马尔可夫容量序列收敛于操作容量，验证了该信道模型下马尔可夫近似方案的有效性。
• Tal、Pfister、Fazeli和Vardy提出的极化编码方案可实现删除信道的容量，因为常规隐马尔可夫输入可逼近真实容量。
• 由于FSC的混合性质以及删除数的二项分布特性，FSC的输出分布在足够长的块长度后对初始状态不敏感。
• 在不同初始状态下输出分布之间的总变差距离随块长增加而趋于零，从而支持容量可达编码方案的实现。