[论文解读] Polar Codes are Optimal for Lossy Source Coding

Satish Babu Korada, Rüdiger Urbanke|ArXiv.org|Mar 2, 2009

Error Correcting Code Techniques参考文献 25被引用 12

一句话总结

本文证明了采用逐次消除编码的极化码能够以指数收敛速度达到二元对称信源的香农率失真极限。该研究建立了极化码在有失真信源压缩、二元Wyner-Ziv问题以及二元Gelfand-Pinsker问题中的最优性，通过一种新颖的信源压缩极化过程分析方法实现。

ABSTRACT

We consider lossy source compression of a binary symmetric source using polar codes and the low-complexity successive encoding algorithm. It was recently shown by Arikan that polar codes achieve the capacity of arbitrary symmetric binary-input discrete memoryless channels under a successive decoding strategy. We show the equivalent result for lossy source compression, i.e., we show that this combination achieves the rate-distortion bound for a binary symmetric source. We further show the optimality of polar codes for various problems including the binary Wyner-Ziv and the binary Gelfand-Pinsker problem

研究动机与目标

• 证明采用逐次消除编码的极化码能够达到二元对称信源的率失真极限。
• 将极化码的最优性从信道编码扩展到有失真信源压缩。
• 证明极化码在相关问题（如二元Wyner-Ziv和Gelfand-Pinsker问题）中也具有最优性。
• 分析在逐次编码下失真收敛到设计极限的收敛速率。
• 证明在实现最优性能的同时，编码与解码复杂度仍保持为O(N log N)。

提出的方法

• 作者在信源编码的背景下分析了合成信道的极化特性，采用与Arıkan原始信道编码工作相同的递归构造方法。
• 他们定义了一个新的随机变量Z_n，用于表征合成信源信道的可靠性，并分析其在块长增加时收敛于1的性质。
• 一个关键引理提供了对组合信道可靠性的下界，该下界基于二元输入离散内存信道的性质推导得出。
• 论文证明：对于任意β < 1/2，当n → ∞时，P(Z_n ≥ 1 − 2^{−2^{nβ}}) → 1 − I(W)，其中I(W)为互信息。
• 利用该结果，他们证明了在逐次编码下，极化码的期望失真随块长N呈指数衰减。
• 该分析与信道编码中容量可达性的证明思路相似，但将其适配到了信源编码的对偶问题上。

实验结果

研究问题

• RQ1 采用逐次消除编码的极化码能否达到二元对称信源的香农率失真极限？
• RQ2 在逐次编码下，期望失真收敛到设计失真D的速率如何？
• RQ3 极化码在更复杂的信源编码问题（如Wyner-Ziv和Gelfand-Pinsker问题）中是否仍保持最优性？
• RQ4 随着块长增加，合成信源信道的可靠性（以Z_n衡量）行为如何？
• RQ5 与信道编码中使用的相同低复杂度编码与解码算法是否可成功应用于有失真信源压缩？

主要发现

• 对于任意设计失真0 < D < 1/2及任意δ > 0，存在一列极化码，其速率不超过R(D) + δ，且其期望失真满足≤ D + O(2^{−N^β})，其中β < 1/2。
• 期望失真以N^β的指数速率收敛到设计失真D，其中N为块长。
• 极化码的编码与解码复杂度保持为O(N log N)，与Arıkan原始信道编码方案的复杂度一致。
• 本文证明了极化码不仅在二元对称信源上是最优的，而且在二元Wyner-Ziv和二元Gelfand-Pinsker问题中也具有最优性。
• 可靠性度量Z_n收敛到1的速率被证明为指数级，即当n → ∞时，P(Z_n ≥ 1 − 2^{−2^{nβ}}) → 1 − I(W)。
• 该结果确认了极化码是首个在低复杂度编码与解码下被严格证明具有最优性的有失真信源压缩码。