[论文解读] Optimum Trade-offs Between the Error Exponent and the Excess-Rate Exponent of Variable-Rate Slepian-Wolf Coding

Nir Weinberger, Neri Merhav|arXiv (Cornell University)|Jan 5, 2014

Wireless Communication Security Techniques参考文献 25被引用 7

一句话总结

本文通过基于类型编码的方法推导出紧致的上界（反证）和下界（可实现性），在可变速率Slepian-Wolf编码中建立了误差指数与溢出率指数之间的最优权衡。关键贡献在于系统性分析表明，类型类均匀速率分配在固定速率（低溢出率）与平均速率（高可靠性）编码之间实现了性能平衡，通过迭代算法显式给出了速率函数与溢出率指数的边界。

ABSTRACT

We analyze the optimal trade-off between the error exponent and the excess-rate exponent for variable-rate Slepian-Wolf codes. In particular, we first derive upper (converse) bounds on the optimal error and excess-rate exponents, and then lower (achievable) bounds, via a simple class of variable-rate codes which assign the same rate to all source blocks of the same type class. Then, using the exponent bounds, we derive bounds on the optimal rate functions, namely, the minimal rate assigned to each type class, needed in order to achieve a given target error exponent. The resulting excess-rate exponent is then evaluated. Iterative algorithms are provided for the computation of both bounds on the optimal rate functions and their excess-rate exponents. The resulting Slepian-Wolf codes bridge between the two extremes of fixed-rate coding, which has minimal error exponent and maximal excess-rate exponent, and average-rate coding, which has maximal error exponent and minimal excess-rate exponent.

研究动机与目标

• 分析可变速率Slepian-Wolf编码中误差指数与溢出率指数之间的基本权衡。
• 推导一般可变速率码的最优误差指数与溢出率指数的上界（反证）与下界（可实现性）。
• 表征为实现目标误差指数而所需的每类类型最小速率函数，并评估由此产生的溢出率指数。
• 通过统一框架弥合固定速率编码（最小溢出率，低误差指数）与平均速率编码（最大误差指数，最小溢出率）之间的性能差距。

提出的方法

• 基于信息谱方法与类型类分析，采用通用反证方法推导误差与溢出率指数的上界。
• 提出一类可变速率Slepian-Wolf编码，对同一类型类的所有源块分配相同速率，从而实现可处理的可实现性分析。
• 采用依赖于类型的随机分箱法，推导误差指数与溢出率指数的下界，推广了先前关于平均速率编码的结果。
• 应用变分方法与散度最小化技术，包括Minkowski不等式的变体及参数化散度函数 $ D(Q_\alpha \| P_1) $，以获得紧致的指数边界。
• 基于交替最小化设计的迭代算法，用于计算最优速率函数及其对应溢出率指数的上下界。
• 建立散度 $ D(Q_\alpha \| P_1) $ 关于 $ \alpha $ 的连续性与单调性性质，这对收敛性与优化至关重要。

实验结果

研究问题

• RQ1 在可变速率Slepian-Wolf编码中，误差指数与溢出率指数之间的基本权衡是什么？
• RQ2 如何确定每类类型实现给定目标误差指数所需的最小速率函数，同时最小化溢出率概率？
• RQ3 基于类型的编码方案能否在可靠性与速率溢出之间实现优于固定速率或平均速率编码的平衡？
• RQ4 可变速率Slepian-Wolf编码的误差指数与溢出率指数的最紧可实现上下界是什么？
• RQ5 如何高效计算最优速率函数及其对应的溢出率指数？

主要发现

• 本文证明，类型类均匀速率分配在固定速率与平均速率编码之间实现了性能平衡，提供了误差指数与溢出率指数之间的连续权衡。
• 推导出误差指数与溢出率指数的上下界，对于某些源类，边界在极限下重合，表明所提方案的最优性。
• 通过凸优化问题表征实现目标误差指数所需的每类类型最小速率函数，该问题可通过迭代算法求解。
• 证明所提码类的溢出率指数严格为正，表明在给定速率分配下，速率溢出事件呈指数罕见。
• 所推导的边界通过引入溢出率约束，推广了先前关于平均速率Slepian-Wolf编码的结果，这对缓冲受限系统至关重要。
• 基于交替最小化的迭代算法在高精度下被证明有效，可用于计算最优速率函数及其关联的溢出率指数。