[论文解读] Optimal coding for the deletion channel with small deletion probability

Yashodhan Kanoria, Andrea Montanari|arXiv (Cornell University)|Apr 29, 2011

DNA and Biological Computing参考文献 8被引用 5

一句话总结

该论文针对小删除概率 $d$ 下的二元删除信道容量，发展了一套系统的渐近展开方法，计算了该级数的前三项。论文证明，具有独立同分布（i.i.d.）段长且段长分布满足特定形式的平稳二元信源，可在 $O(d^{3-\epsilon})$ 范围内达到容量，这是首次在 $d=0$ 处对 i.i.d. 伯努利(1/2) 输入进行微扰后实现该信道的最优编码结果。该方法通过微扰理论建立了容量的平滑变化特性与最优输入分布。

ABSTRACT

The deletion channel is the simplest point-to-point communication channel that models lack of synchronization. Input bits are deleted independently with probability d, and when they are not deleted, they are not affected by the channel. Despite significant effort, little is known about the capacity of this channel, and even less about optimal coding schemes. In this paper we develop a new systematic approach to this problem, by demonstrating that capacity can be computed in a series expansion for small deletion probability. We compute three leading terms of this expansion, and find an input distribution that achieves capacity up to this order. This constitutes the first optimal coding result for the deletion channel. The key idea employed is the following: We understand perfectly the deletion channel with deletion probability d=0. It has capacity 1 and the optimal input distribution is i.i.d. Bernoulli(1/2). It is natural to expect that the channel with small deletion probabilities has a capacity that varies smoothly with d, and that the optimal input distribution is obtained by smoothly perturbing the i.i.d. Bernoulli(1/2) process. Our results show that this is indeed the case. We think that this general strategy can be useful in a number of capacity calculations.

研究动机与目标

• 计算小删除概率 $d$ 下二元删除信道容量的级数展开。
• 识别一种输入分布，使其在小 $d$ 下可达到容量的 $O(d^{3-\epsilon})$ 范围内，克服此前该信道最优编码研究的局限性。
• 建立一种通用策略，用于在已知某参数值（此处为 $d=0$）时容量可精确计算的信道中进行容量计算，通过平滑微扰最优输入分布实现。

提出的方法

• 通过在 $d=0$ 处对 i.i.d. 伯努利(1/2) 输入分布进行微扰，以 $d$ 的幂次展开容量，此时容量精确为 1。
• 将输入建模为具有 i.i.d. 段长的平稳信源，其中段长分布满足 $p_L(l) = 2^{-l}(1 + d(l\ln l - c_2 l/2))$，在 $d$ 的一阶近似下，确保从 $d=0$ 情况的平滑过渡。
• 利用更新过程理论与熵分析，计算此类信源的速率，并将其与删除信道下的互信息关联。
• 通过控制浓度与尾部界控制误差项，对容量施加严格上下界，使其在 $d$ 的二次项阶数内匹配。
• 利用二元熵函数 $h(p)$ 及涉及 $\sum 2^{-l} l \ln l$ 的对数项，计算展开式中的系数 $A_1$、$A_2$ 以及常数 $c_2$、$c_3$、$c_4$。
• 在 $d=0.1$ 处对展开式进行数值验证，结果显示预测容量与真实容量相差不超过 0.002 比特，并与基于马尔可夫信源和拼图解码的先前界限进行比较。

实验结果

研究问题

• RQ1 能否将二元删除信道的容量表示为小 $d$ 下的幂级数展开，并显式计算系数？
• RQ2 是否存在一种特定输入分布（超越 i.i.d. 伯努利(1/2) 或马尔可夫信源），使其在小 $d$ 下可达到容量的 $O(d^{3-\epsilon})$ 范围内？
• RQ3 在 $d=0$ 附近，最优输入分布是否随 $d$ 平滑变化？能否通过微扰 i.i.d. 伯努利(1/2) 过程捕捉到这一点？
• RQ4 与最优方案相比，使用马尔可夫信源或拼图解码所导致的主导阶损失是多少？
• RQ5 能否将通过在已知容量点微扰最优输入的通用策略，推广应用于其他存在同步错误的信道？

主要发现

• 对于小 $d$，删除信道的容量具有展开式 $C(d) = 1 + d\log d - A_1 d + A_2 d^2 + O(d^{3-\epsilon})$，其中 $A_1 \approx 1.15416377$，$A_2 \approx 1.67814594$。
• 具有 i.i.d. 段长且段长分布为 $p_L(l) = 2^{-l}(1 + d(l\ln l - c_2 l/2))$ 的输入分布（其中 $c_2 \approx 1.78628364$）可实现与容量相差 $O(d^{3-\epsilon})$ 的速率。
• 使用一阶马尔可夫信源导致的损失为 $\Omega(d^2)$，与平凡的 i.i.d. 伯努利(1/2) 输入的主导阶损失一致，表明马尔可夫信源在此阶次下为次优。
• 在 $d=0.1$ 时，渐近展开预测的容量与真实值相差不超过 0.002 比特，显著优于先前的下界估计。
• 该论文建立了一套通用框架，通过在已知容量点微扰最优输入来实现容量计算，该方法可能适用于其他存在同步错误的信道。
• 所推导的展开式表明，最优输入分布随 $d$ 在 $d=0$ 附近平滑变化，证实了小删除概率下最优编码方案仅发生微小变化的直观预期。