[论文解读] Rateless Codes for Finite Message Set

Navot Blits|arXiv (Cornell University)|Jan 27, 2012

Wireless Communication Security Techniques参考文献 11被引用 3

一句话总结

本文提出了一种针对离散无记忆信道（DMCs）上有限消息集的非渐近率可变编码框架，结合反馈机制，利用序列解码实现固定误码概率下的可变速率传输。该框架建立了随消息集增大而收敛至信道容量的可达速率，并引入基于混合概率分配的通用解码器，适用于未知信道，实现完全通用性，无需事先知晓信源、信道或辅信息。

ABSTRACT

In this study we consider rateless coding over discrete memoryless channels (DMC) with feedback. Unlike traditional fixed-rate codes, in rateless codes each codeword is infinitely long, and the decoding time depends on the confidence level of the decoder. Using rateless codes along with sequential decoding, and allowing a fixed probability of error at the decoder, we obtain results for several communication scenarios. The results shown here are non-asymptotic, in the sense that the size of the message set is finite. First we consider the transmission of equiprobable messages using rateless codes over a DMC, where the decoder knows the channel law. We obtain an achievable rate for a fixed error probability and a finite message set. We show that as the message set size grows, the achievable rate approaches the optimum rate for this setting. We then consider the universal case, in which the channel law is unknown to the decoder. We introduce a novel decoder that uses a mixture probability assignment instead of the unknown channel law, and obtain an achievable rate for this case. Finally, we extend the scope for more advanced settings. We use different flavors of the rateless coding scheme for joint source-channel coding, coding with side-information and a combination of the two with universal coding, which yields a communication scheme that does not require any information on the source, the channel, or the amount the side information at the receiver.

研究动机与目标

• 为点对点通信中离散无记忆信道（DMCs）上的有限消息集设计率可变编码方案，支持非渐近分析。
• 通过引入新颖的通用解码度量，解决当解码器未知信道律时实现可靠通信的挑战。
• 将率可变编码扩展至联合信源-信道编码及存在辅信息的信源编码，实现无需事先知晓信源统计特性或辅信息的最优速率。
• 量化可达速率向容量收敛的速率，特别是在信道与信源统计特性不确定的情况下。
• 证明完全通用性——即无需知晓信源、信道或辅信息——在率可变编码中是可行的，同时保持渐近最优性。

提出的方法

• 使用基于瓦尔德序列概率比检验（SPRT）停止时间的序列解码，当对消息的置信度超过阈值时动态终止传输。
• 在已知信道律的情况下，于似然比计算中使用该信道律，通过停止时间理论实现速率分析。
• 提出一种通用解码器，用混合概率分配替代未知信道律，界定了通用度量与已知信道度量之间的差异。
• 将所得界应用于上界通用情况下的平均传输时间，利用已知信道解码器结果。
• 通过在似然计算中引入信源统计特性，将序列解码器适配于联合信源-信道编码，实现斯莱潘-沃尔夫（Slepian-Wolf）与温纳-齐夫（Wyner-Ziv）速率。
• 将通用信道编码、联合信源-信道编码与辅信息技术整合为单一通用方案，无需事先知晓信源、信道或辅信息。

实验结果

研究问题

• RQ1 在已知信道律的离散无记忆信道（DMCs）上，有限消息集的率可变码可达速率是多少？
• RQ2 当信道律未知时，率可变编码的性能如何退化？能否通过通用解码器缓解此损失？
• RQ3 率可变编码能否实现解码器处存在辅信息时的最优斯莱潘-沃尔夫（Slepian-Wolf）信源编码速率？
• RQ4 随着消息集大小增加，可达速率向容量收敛的速率是多少？
• RQ5 能否设计一种完全通用的率可变编码方案，实现最优信源-信道编码速率，而无需知晓信源、信道或辅信息？

主要发现

• 在已知信道情况下，随着消息集大小 $M$ 增大，可达速率趋近于信道容量，收敛受 $O(1/M)$ 项主导。
• 在未知信道的通用情况下，可达速率为 $R = C ig(1 - O(rac{\text{log } K}{K})ig) + O(rac{1}{K})$，其中 $K$ 为消息集大小，表明渐近最优性。
• 由于缺乏信道知识，通用情况下的收敛速率受 $O(rac{\text{log } K}{K})$ 项减缓，而知情情况下的收敛速率仅为 $O(rac{1}{K})$。
• 在联合信源-信道编码中，率可变方案实现了基于分离的最优速率，与联合系统的容量匹配。
• 当解码器存在辅信息时，速率提升至 $R = \frac{C}{\text{H}(W|V)} \big(1 - O(\frac{\text{log } K}{K})\big) + O(\frac{1}{K})$，其中 $\text{H}(W|V)$ 为条件熵。
• 所提出的通用方案即使在未知信源分布、信道律或辅信息的存在性与数量的情况下，仍能实现最优信源-信道编码速率，且渐近收敛速率与知情情况相同。