[论文解读] The MMI Decoder is Asymptotically Optimal for the Typical Random Code and for the Expurgated Code

Ran Tamir, Neri Merhav|arXiv (Cornell University)|Jul 23, 2020

Wireless Communication Security Techniques参考文献 14被引用 8

一句话总结

该论文证明了在离散无记忆信道（DMCs）中，最大互信息（MMI）译码器对典型随机码（TRC）和删余码均渐近最优，其错误指数与最优最大似然（ML）译码器相同。该证明非平凡，因为它避免了随机编码分析中常用的期望交换方法，转而依赖大偏差和指数界来建立在TRC和删余码集合下错误指数性能的等价性。

ABSTRACT

We provide two results concerning the optimality of the maximum mutual information (MMI) decoder. First, we prove that the error exponents of the typical random codes under the optimal maximum likelihood (ML) decoder and the MMI decoder are equal. As a corollary to this result, we also show that the error exponents of the expurgated codes under the ML and the MMI decoders are equal. These results strengthen the well known result due to Csiszár and Körner, according to which, these decoders achieve equal random coding error exponents, since the error exponents of the typical random code and the expurgated code are strictly higher than the random coding error exponents, at least at low coding rates. While the universal optimality of the MMI decoder, in the random-coding error exponent sense, is easily proven by commuting the expectation over the channel noise and the expectation over the ensemble, when it comes to typical and expurgated exponents, this commutation can no longer be carried out. Therefore, the proof of the universal optimality of the MMI decoder must be completely different and it turns out to be highly non-trivial.

研究动机与目标

• 在随机编码错误指数之外，建立MMI译码器的普遍最优性，特别针对更高阶的典型随机码（TRC）和删余码集合。
• 解决MMI译码器是否能实现删余码错误指数这一开放问题，该错误指数在低速率时严格高于标准随机编码指数。
• 为TRC提供一个非平凡的MMI最优性证明，其中标准依赖于信道噪声与码书随机性期望交换的技术不再适用。

提出的方法

• 通过广义似然译码器（GLD）框架推导出TRC错误指数的单字母表达式，从而实现与MMI译码的比较。
• 采用大偏差分析和指数界，对TRC下MMI译码器的错误概率进行上界估计，重点聚焦于典型码书实现。
• 采用变分方法，通过对条件分布 $ Q_{X'\mid X} $ 最小化一个类似拉格朗日表达式，受互信息和输入分布条件的约束。
• 应用马尔可夫不等式，通过错误概率的 $ \rho $-阶矩推导出错误指数的下界，从而证明存在一个最大错误概率指数级小的码。
• 建立TRC错误指数与删余界之间的对偶性，使得同一最优性结果可通过结构相似性扩展至删余码。
• 利用在固定构型码下MMI译码器等价于最小条件经验熵译码器的事实，从而可与Slepian-Wolf编码中的已知结果进行比较。

实验结果

研究问题

• RQ1 MMI译码器在典型随机码（TRC）下是否能达到与最大似然（ML）译码器相同的错误指数，而TRC的错误指数高于标准随机编码？
• RQ2 MMI译码器的普遍最优性是否可超越随机编码，扩展至TRC和删余码集合，其中期望交换不再成立？
• RQ3 MMI译码器对删余码是否最优，特别是能否实现与ML译码器相同的错误指数，尽管此前对此情况尚无相关结果？
• RQ4 码书实现的典型性在决定错误指数中起什么作用，它如何影响MMI等通用译码器的性能？
• RQ5 用于TRC的证明技术是否可适配至其他码集合（如广义RGV码），以实现更高的错误指数？

主要发现

• 在MMI译码器下，典型随机码（TRC）的错误指数恰好等于最优最大似然（ML）译码器的错误指数，证明了MMI译码对TRC的渐近最优性。
• 在MMI译码器下，删余码的错误指数与ML译码器相同，解决了关于MMI译码器在该码类中普遍最优性的开放问题。
• 该证明不依赖于对信道噪声与码书随机性期望的交换，因此在本质上不同于标准随机编码证明，更为复杂。
• TRC错误指数与删余界具有结构相似性，使得同一最优性结果可从TRC推广至删余码。
• 通过矩界和马尔可夫不等式，证明了存在一个最大错误概率指数级小的码，从而建立了与已知上界匹配的错误指数下界。
• 该结果表明，MMI译码器不仅在随机编码意义上渐近最优，而且在更高阶的TRC和删余码意义上也渐近最优，使其成为更强的通用译码器。