[论文解读] Polar Coding for Processes with Memory

Eren Şaşoğlu, Ido Tal|arXiv (Cornell University)|Feb 4, 2016

Error Correcting Code Techniques参考文献 12被引用 6

一句话总结

该论文证明了在 ψ-混合且 ψ₀ 有限的条件下，极化码可实现具有记忆的随机过程的容量。它证明标准 Arıkan 变换以 O(2⁻ˣᵖᵗ(N)) 的速率诱导极化，与无记忆情况相当，从而将极化编码理论扩展至具有记忆的广泛实际信道与信源。

ABSTRACT

We study polar coding for stochastic processes with memory. For example, a process may be defined by the joint distribution of the input and output of a channel. The memory may be present in the channel, the input, or both. We show that $ψ$-mixing processes polarize under the standard Arıkan transform, under a mild condition. We further show that the rate of polarization of the \emph{low-entropy} synthetic channels is roughly $O(2^{-\sqrt{N}})$, where $N$ is the blocklength. That is, essentially the same rate as in the memoryless case.

研究动机与目标

• 将极化编码理论从无记忆信道扩展至具有记忆的过程，特别是实际通信与压缩系统中出现的过程。
• 建立标准 Arıkan 变换在具有记忆的过程上诱导极化的条件。
• 量化此类过程中低熵合成信道的极化速率。
• 通过构造反例（周期性过程）揭示局限性，该过程因缺乏 ψ-混合而不发生极化。

提出的方法

• 使用标准 Arıkan 变换（通过 G₂ 与比特反转矩阵的克罗内克积实现）从平稳过程 (Xᵢ, Yᵢ) 生成合成信道。
• 应用 ψ-混合条件且 ψ₀ 有限，以确保过程中远距离事件的渐近独立性。
• 利用 Bhattacharyya 参数与相对熵来界定变换后变量之间的互信息。
• 利用 Pinsker 不等式与 Jensen 不等式，将微分熵与边际概率差异关联起来。
• 通过引入一个随机变量 T 的耦合论证，以界定互信息 I(A+B; D)，并推导出熵差的下界。
• 证明低熵合成信道的极化速率为 O(2⁻ˣᵖᵗ(N))，与无记忆情况一致。

实验结果

研究问题

• RQ1 标准 Arıkan 变换在具有记忆的随机过程中于何种条件下诱导极化？
• RQ2 能否量化具有记忆的过程中信道的低熵合成信道的极化速率，并证明其与无记忆情况一致？
• RQ3 ψ-混合且 ψ₀ 有限是否为这些过程中极化的充分必要条件？
• RQ4 能否构造反例以证明非 ψ-混合过程（如周期性过程）无法实现极化？
• RQ5 信道或信源中记忆的存在如何影响极化码的收敛速率？

主要发现

• 标准 Arıkan 变换在快速 ψ-混合过程（ψ-混合且 ψ₀ 有限）中诱导极化，将极化编码扩展至具有记忆的广泛系统类别。
• 低熵合成信道的极化速率为 O(2⁻ˣᵖᵗ(N))，与无记忆信道中观察到的渐近速率一致。
• 构造了一个非 ψ-混合的周期性过程反例，其无法实现极化，证明 ψ-混合是极化的必要条件。
• 该证明方法比以往工作更简洁，且适用于比以往结果更广泛的进程类别。
• Bhattacharyya 参数与相对熵被用于界定变换后变量之间的互信息，从而实现速率分析。
• 分析表明，二元随机变量之和与其条件版本之间的熵差被 σ(ξ) 的函数下界控制，从而导出定量速率边界。