[论文解读] Sequential decoding for lossless streaming source coding with side information

Hari Palaiyanur, Anant Sahai|ArXiv.org|Mar 23, 2007

Wireless Communication Security Techniques参考文献 25被引用 5

一句话总结

本文提出了一种使用随机时变树码和可变偏置堆栈算法的序列解码方案，用于在解码器端存在辅助信息的无失真流式源编码。该方案实现了误差概率随延迟呈指数衰减，与Gallager的随机编码指数一致，并在适当的偏置设置下确保了计算量的有限矩，进一步扩展至联合源信道编码，性能保证类似。

ABSTRACT

The problem of lossless fixed-rate streaming coding of discrete memoryless sources with side information at the decoder is studied. A random time-varying tree-code is used to sequentially bin strings and a Stack Algorithm with a variable bias uses the side information to give a delay-universal coding system for lossless source coding with side information. The scheme is shown to give exponentially decaying probability of error with delay, with exponent equal to Gallager's random coding exponent for sources with side information. The mean of the random variable of computation for the stack decoder is bounded, and conditions on the bias are given to guarantee a finite $ρ^{th}$ moment for $0 \leq ρ\leq 1$. Further, the problem is also studied in the case where there is a discrete memoryless channel between encoder and decoder. The same scheme is slightly modified to give a joint-source channel encoder and Stack Algorithm-based sequential decoder using side information. Again, by a suitable choice of bias, the probability of error decays exponentially with delay and the random variable of computation has a finite mean. Simulation results for several examples are given.

研究动机与目标

• 设计一种适用于仅在解码器端存在辅助信息的离散无记忆源的延迟无关、固定速率无失真源编码系统。
• 通过序列解码实现与Gallager的随机编码指数相匹配的、具有辅助信息的源的误差指数。
• 在可变偏置下，界定堆栈算法中计算随机变量的均值和高阶矩。
• 将该方案扩展至联合源信道编码，同时保持指数误差衰减和有限计算矩。
• 提供确保计算矩有限和正误差指数的偏置参数条件。

提出的方法

• 使用随机时变树码对源字符串进行序列分组，实现无需编码器端辅助信息的固定速率压缩。
• 在解码器端采用带有可变偏置参数的堆栈算法，以利用辅助信息并实现源序列的序列解码。
• 通过理论推导，利用Gallager的误差指数框架调整偏置，以平衡误差指数与计算矩。
• 关键方程涉及条件熵和似然比推导出的误差指数项 $ E_{si}\left(\theta\right) $、$ F_{si} \left(\theta\right) $ 和 $ G_{si} \left(\theta\right) $。
• 在联合源信道编码中，通过引入 $ E_0(\theta) $、$ F(\theta) $ 和 $ G(\theta) $ 的信道可靠性对方案进行调整，偏置参数相应调整以维持性能。
• 利用Jensen不等式和对数函数的严格凹性，推导出严格不等式，确保 $ 0 \leq \rho \leq 1 $ 时 $ \rho $-阶矩有限。

实验结果

研究问题

• RQ1 能否设计一种序列解码方案，在仅解码器端有辅助信息的无失真源编码中，实现误差概率随延迟呈指数衰减？
• RQ2 偏置参数满足何种条件，可确保计算随机变量的 $ \rho $-阶矩在 $ 0 \leq \rho \leq 1 $ 范围内有限？
• RQ3 该方案能否扩展至联合源信道编码，同时保持指数误差衰减和有限计算矩？
• RQ4 所提方案的误差指数是否与具有辅助信息的源的Gallager随机编码指数等价？
• RQ5 偏置选择 $ G^* = \frac{1+\gamma}{\gamma}[E_{si}(\gamma) - F_{si}(\gamma)] $ 是否能同时实现正误差指数和有限的 $ \gamma $-阶计算矩？

主要发现

• 所提方案实现了误差概率随延迟呈指数衰减，其衰减指数等于具有辅助信息的源的Gallager随机编码指数。
• 在适当的偏置设置下，堆栈解码器中计算随机变量的均值被有界。
• 当 $ 0 \leq \rho \leq 1 $ 时，若偏置位于非空开区间 $ \left( \frac{1+\gamma}{\gamma}G_{si}(\gamma), \frac{1+\gamma}{\gamma}(\gamma R - F_{si}(\gamma)) \right) $ 内，则计算的 $ \rho $-阶矩有限。
• 在联合源信道编码情况下，若满足 $ \lambda E_0(\gamma) > E_{si}(\gamma) $，则类似的偏置区间可确保指数误差衰减和有限计算矩。
• 最优偏置 $ G^* = \frac{1+\gamma}{\gamma}[E_{si}(\gamma) - F_{si}(\gamma)] $ 同时实现正误差指数和有限的 $ \gamma $-阶计算矩，前提是对于至少一个 $ v \in \mathcal{V} $，$ U $ 不是给定 $ v $ 的确定性随机变量。
• 由于对数函数的严格凹性及源的非确定性，严格不等式 $ G_{si}(\gamma) + F_{si}(\gamma) < E_{si}(\gamma) $ 成立，确保了偏置区间的非空性。