[论文解读] Universal Polarization for Processes with Memory

Boaz Shuval, Ido Tal|arXiv (Cornell University)|Nov 14, 2018

Error Correcting Code Techniques参考文献 41被引用 9

一句话总结

该论文提出了一种适用于具有记忆性的过程的通用极化框架，具体针对周期性、不可约且健忘的隐马尔可夫模型（HMMs）。提出了一种两阶段极化编码构造——慢速阶段与快速阶段——利用阿利坎变换，在一族具有记忆性的过程中实现普遍的渐近错误概率趋近于零，错误指数为 2^{-\sqrt{\Lambda}}，复杂度为 O(|S|^3 \Lambda \log \Lambda)。

ABSTRACT

A transform that is universally polarizing over a set of channels with memory is presented. Memory may be present in both the input to the channel and the channel itself. Both the encoder and the decoder are aware of the input distribution, which is fixed. However, only the decoder is aware of the actual channel being used. The transform can be used to design a universal code for this scenario. The code is to have vanishing error probability when used over any channel in the set, and achieve the infimal information rate over the set. The setting considered is, in fact, more general: we consider a set of processes with memory. Universal polarization is established for the case where each process in the set: (a) has memory in the form of an underlying hidden Markov state sequence that is aperiodic and irreducible, and (b) satisfies a `forgetfulness' property. Forgetfulness, which we believe to be of independent interest, occurs when two hidden Markov states become approximately independent of each other given a sufficiently long sequence of observations between them. We show that aperiodicity and irreducibility of the underlying Markov chain is not sufficient for forgetfulness, and develop a sufficient condition for a hidden Markov process to be forgetful.

研究动机与目标

• 为编码器缺乏完整信道知识但已知输入分布的具有记忆性的信道开发一种通用极化编码方案。
• 将极化理论从无记忆信道扩展到具有隐马尔可夫结构的过程。
• 建立此类过程为健忘的条件，从而实现通用极化。
• 在一族过程中实现通用性能：渐近错误概率趋近于零，且速率趋近于信息率的下确界。

提出的方法

• 提出一种两阶段极化编码构造：慢速阶段用于通用熵分裂，快速阶段使用阿利坎变换实现极化。
• 定义了一类 FAIM s/o-过程（有限输入字母，具有记忆性）族，其共享输入分布，并具有有界健忘性和混合性。
• 引入“健忘性”属性：在两个隐状态之间存在长观测序列时，它们近似独立。
• 通过定义联合状态（状态，观测）过程，使用确定性等价物替代概率性HMM，以保持马尔可夫性质。
• 证明了隐状态链的周期性和不可约性可推出联合（状态，观测）链也具有周期性和不可约性，从而确保通用极化。
• 采用逐次取消译码，其错误概率在族内普遍有界于 2^{-\Lambda^\beta}，其中任意 \beta < 1/2。

实验结果

研究问题

• RQ1 能否在具有记忆性的过程中，特别是隐马尔可夫模型中，实现通用极化？
• RQ2 隐马尔可夫过程的何种条件可确保系统变为健忘，从而实现通用编码？
• RQ3 隐状态链的周期性和不可约性是否足以保证健忘性，还是需要更强的条件？
• RQ4 两阶段极化编码构造是否能普遍实现一族记忆性过程中信息率的下确界？
• RQ5 此类通用码的错误指数和复杂度是多少？

主要发现

• 所提出的通用极化码在一族记忆性过程中普遍实现渐近错误概率趋近于零，错误界为 2^{-\Lambda^\beta}（任意 \beta < 1/2）。
• 码率趋近于该族过程中信息率的下确界 I*，确保最优速率性能。
• 仅凭周期性和不可约性不足以推出健忘性；基于混合性和记忆衰减，推导出健忘性的充分条件。
• 两阶段构造——慢速阶段用于通用熵分裂，快速阶段用于极化——实现了与阿利坎原始极化码相同的错误指数。
• 编码与译码复杂度为 O(|S|^3 \Lambda \log \Lambda)，其中 |S| 为族中任意过程的最大状态数。
• 该框架适用于信道编码与源编码，将通用极化推广至超越无记忆设定的记忆性过程。