[论文解读] Variable-Length Resolvability for General Sources and Channels

Hideki Yagi, Te Sun Han|arXiv (Cornell University)|Jan 30, 2017

Wireless Communication Security Techniques参考文献 10被引用 6

一句话总结

本文针对一般信源与信道，引入了基于变长源与信道可分解性的概念，采用变分距离与散度作为近似度量。研究证明，在渐近精确情形下，两种度量下的变长可分解性一致，并推导出一个通用表征式，当信道为恒等映射时退化为信源可分解性，同时提供了二阶渐近分析。

ABSTRACT

We introduce the problem of variable-length source resolvability, where a given target probability distribution is approximated by encoding a variable-length uniform random number, and the asymptotically minimum average length rate of the uniform random numbers, called the (variable-length) resolvability, is investigated. We first analyze the variable-length resolvability with the variational distance as an approximation measure. Next, we investigate the case under the divergence as an approximation measure. When the asymptotically exact approximation is required, it is shown that the resolvability under the two kinds of approximation measures coincides. We then extend the analysis to the case of channel resolvability, where the target distribution is the output distribution via a general channel due to the fixed general source as an input. The obtained characterization of the channel resolvability is fully general in the sense that when the channel is just the identity mapping, the characterization reduces to the general formula for the source resolvability. We also analyze the second-order variable-length resolvability.

研究动机与目标

• 将固定长度可分解性的概念扩展至一般信源与信道的变长均匀随机数。
• 研究基于变分距离与散度作为近似度量的变长信源可分解性的基本极限。
• 建立一个统一的信道可分解性表征式，当信道为恒等映射时，该表征式恰好退化为信源可分解性。
• 分析源模型与信道模型下变长可分解性的二阶渐近行为。

提出的方法

• 采用一阶光滑Rényi熵来表征基于变分距离的δ-信源可分解性。
• 提出一种简化的信息谱切片技术，其中每个切片的信息密度被量化为整数，并由固定长度的均匀随机数近似。
• 通过使用广义序与Schur凹性，建立不同近似度量下熵与可分解性之间的关联。
• 针对基于散度的可分解性，通过目标分布与近似分布之间的散度推导出边界，并利用变分距离与散度之间的不等式关系。
• 通过将一般信源与变长均匀随机数同时作为输入“硬币”，分析信道可分解性问题，证明由此产生的可分解性公式具有等价性。
• 通过考察一阶极限之外的渐近行为，分析二阶可分解性，从而对率-失真权衡关系提供更精细的表征。

实验结果

研究问题

• RQ1 当使用变分距离作为近似度量时，变长信源可分解性的基本极限是什么？
• RQ2 当使用散度作为近似度量时，可分解性如何变化？在渐近精确情形下，两种度量是否产生相同结果？
• RQ3 是否可以以一种能推广信源可分解性的形式表征信道可分解性问题，特别是当信道为恒等映射时？
• RQ4 源模型与信道模型下变长可分解性的二阶渐近行为是什么？
• RQ5 对于平稳无记忆信源，基于变分距离的一阶与二阶可分解性是否存在单字母表征？

主要发现

• 基于变分距离的变长δ-信源可分解性，等于固定长度到变长信源编码中误差概率≤δ的最小可实现率。
• 当δ = 0（渐近精确近似）时，基于变分距离与散度度量的可分解性一致。
• 信道可分解性公式具有完全通用性：当信道为恒等映射时，其精确退化为先前推导出的信源可分解性公式。
• 对于平稳无记忆信源，基于变分距离的一阶与二阶可分解性具有单字母表征。
• 二阶可分解性分析揭示了率中的预因子校正项，从而在第一阶极限之外提供了更精细的渐近展开。
• 使用变长均匀随机数使得可分解性的表征更加紧密，且可分解率被光滑Rényi熵一阶所界定。