[论文解读] Second- and Higher-Order Asymptotics For Erasure and List Decoding.

Vincent Y. F. Tan, Pierre Moulin|arXiv (Cornell University)|Feb 20, 2014

Coding theory and cryptography被引用 1

一句话总结

本文推导了离散无记忆信道中删除译码和列表译码的二阶渐近性能，表明二阶容量由信道扩散性和误码概率决定。研究证明，有限块长删除译码可超越标准信道编码速率，并为多项式规模列表建立了紧致的三阶编码速率界。

ABSTRACT

We derive the optimum second-order coding rates, known as second-order capacities, for erasure and list decoding. For erasure decoding for discrete memoryless channels, we show that second-order capacity is V Φ−1(t) where V is the channel dispersion and t is the total error probability, i.e., the sum of the erasure and undetected errors. We show numerically that the expected rate at finite blocklength for erasures decoding can exceed the finite blocklength channel coding rate. We also show that the analogous result also holds for lossless source coding with decoder side information, i.e., Slepian-Wolf coding. For list decoding, we consider list codes of deterministic size that scales as exp( n l) and show that the second-order capacity is l+ V Φ−1() where is the permissible error probability. We also consider lists of polynomial size nα and derive bounds on the third-order coding rate in terms of the order of the polynomial α. These bounds are tight for symmetric and singular channels. The direct parts of the coding theorems leverage on the simple threshold decoder and converses are proved using variants of the hypothesis testing converse. I.

研究动机与目标

• 确定在同时考虑删除与未检测错误的情况下，离散无记忆信道中删除译码的二阶容量。
• 证明有限块长删除译码可实现高于标准信道编码极限的速率。
• 将二阶渐近性能扩展至列表译码，其中确定性列表大小随块长指数增长。
• 为多项式规模列表推导三阶编码速率的界，特别是针对对称信道与奇异信道。
• 在相同的二阶渐近框架下，统一分析带辅助信息的源编码（Slepian-Wolf）问题。

提出的方法

• 利用阈值译码与信道扩散性 V，推导删除译码的二阶容量，容量表达为 VΦ⁻¹(t)，其中 t 为总误码概率。
• 应用假设检验反证法，为删除译码与列表译码两种情形证明紧致的反证界。
• 分析列表大小随 exp(nl) 增长的列表译码，推导出二阶容量为 l + VΦ⁻¹(ε)，其中 ε 为允许的误码概率。
• 考虑大小为 n^α 的多项式规模列表，以 α 表示，推导三阶编码速率的上下界。
• 利用信道的结构特性和误码概率约束，证明对称信道与奇异信道的界是紧致的。
• 将结果扩展至带译码器辅助信息的 Slepian-Wolf 源编码，表明其具有类似的二阶容量行为。

实验结果

研究问题

• RQ1 当同时考虑删除与未检测错误时，删除译码的二阶容量是多少？
• RQ2 有限块长删除译码能否实现高于标准有限块长信道编码速率的性能？
• RQ3 对于列表大小随块长指数增长的列表译码，其二阶容量是多少？
• RQ4 对于多项式规模列表，三阶编码速率如何表现？在对称信道与奇异信道下，这些界是否紧致？
• RQ5 该二阶渐近分析框架是否可扩展至带辅助信息的无失真源编码，如 Slepian-Wolf 编码？

主要发现

• 删除译码的二阶容量为 VΦ⁻¹(t)，其中 V 为信道扩散性，t 为总误码概率（删除 + 未检测错误）。
• 有限块长删除译码可实现高于标准信道编码的期望速率，表明在实际系统中具有性能增益。
• 对于列表大小为 exp(nl) 的列表译码，二阶容量为 l + VΦ⁻¹(ε)，其中 ε 为允许的误码概率。
• 对于大小为 n^α 的多项式规模列表，本文推导出对称信道与奇异信道下三阶编码速率的紧致上下界。
• 假设检验反证法为在删除译码与列表译码场景下证明紧致反证界提供了有力工具。
• 删除译码的结果可推广至带辅助信息的 Slepian-Wolf 源编码，表明其具有相同的二阶容量行为。