[论文解读] Strong Converse and Second-Order Asymptotics of Channel Resolvability

Shun Watanabe, Masahito Hayashi|arXiv (Cornell University)|Apr 22, 2014

Wireless Communication Security Techniques参考文献 18被引用 7

一句话总结

本文建立了离散无记忆信道（DMCs）在固定独立同分布输入分布下的信道可分解性（channel resolvability）的强 converse 定理，证明最优可分解率由 $ S_{W_p} = \min\{I(q,W) : W_q = W_p\} $ 给出，即使在非满秩信道下也成立。此外，在特定条件下推导出最优的二阶渐近行为，解决了长期存在的关于信道可分解性基本极限问题，超越了一阶互信息边界的理解空白。

ABSTRACT

We study the problem of channel resolvability for fixed i.i.d. input distributions and discrete memoryless channels (DMCs), and derive the strong converse theorem for any DMCs that are not necessarily full rank. We also derive the optimal second-order rate under a condition. Furthermore, under the condition that a DMC has the unique capacity achieving input distribution, we derive the optimal second-order rate of channel resolvability for the worst input distribution.

研究动机与目标

• 为具有固定独立同分布输入分布的离散无记忆信道（DMCs）确定信道可分解性的基本极限，特别是当信道非满秩时。
• 建立信道可分解性的强 converse 定理，表明即使在非满秩情况下，可分解率也不可能超过 $ S_{W_p} $。
• 在信道结构满足特定条件时，推导出最优的二阶渐近速率，将先前仅限于满秩信道的结果加以扩展。
• 分析最坏情况下的输入分布情形，确定当输入分布从产生相同输出分布的分布中被对抗性选择时的最优二阶速率。

提出的方法

• 作者将 $ S_{W_p} $ 定义为所有满足 $ W_q = W_p $ 的输入分布 $ q $ 中互信息的最小值，该值作为可分解性的基本极限。
• 他们采用基于变分距离的近似度量 $ \rho({\cal C}_n, W_{p^n}) = \frac{1}{2}\|W_{{\cal C}_n} - W_{p^n}\|_1 $ 来量化输出分布近似的质量。
• 一个关键技术工具是通过检验函数和指数倾斜对变分距离进行对偶表示，从而推导出强 converse 边界。
• 证明利用了大偏差界和集中不等式，特别是通过分析典型集 $ T_{W,\delta}(\bm{x}) $ 及其在 $ W_p^n $ 下的测度。
• 作者使用线性规划扰动理论，对 $ W_p $ 的 $ \delta $-邻域内分布的散度 $ D(W_a \| W_p) $ 进行有界，从而实现二阶分析。
• 在二阶渐近分析中，他们分析了信息方差 $ V_{q,W_p} $，并将其与对数似然比的条件方差联系起来，确立了最优扩散项。

实验结果

研究问题

• RQ1 当信道非满秩时，具有固定独立同分布输入分布的 DMC 的最优可分解率是什么？
• RQ2 是否可以在一般 DMC 中建立信道可分解性的强 converse 定理，而不仅限于满秩情况？
• RQ3 在对信道输入输出结构施加特定条件时，可分解率的二阶渐近行为如何？
• RQ4 当存在多个输入分布产生相同输出分布时，最坏情况下的输入分布下可分解率如何表现？

主要发现

• 强 converse 定理对任意 DMC 成立：可分解率不可能超过 $ S_{W_p} = \min\{I(q,W) : W_q = W_p\} $，且该界是紧的。
• 对任意 $ 0 < \varepsilon < 1 $，一阶可分解率收敛于 $ S_{W_p} $，即 $ \lim_{n\to\infty} R(n,\varepsilon|p^n) = S_{W_p} $。
• 在信道具有唯一容量达成输入分布的条件下，推导出最坏情况输入分布下的最优二阶速率。
• 二阶项由所有满足 $ W_q = W_p $ 的 $ q $ 的最小与最大信息方差 $ V_{q,W_p} $ 描述，其中 $ V_{p,W}^- = \min_{q\in{\cal Q}(0)} V_{q,W_p} $ 与 $ V_{p,W}^+ = \max_{q\in{\cal Q}(0)} V_{q,W_p} $。
• 在所述条件下，二阶渐近展开为 $ R(n,\varepsilon|p^n) = S_{W_p} + \frac{1}{\sqrt{n}} \sqrt{V_{p,W}^-} \Phi^{-1}(\varepsilon) + o(1/\sqrt{n}) $。
• 本文通过证明 $ I(p,W) $ 并非总是最优速率，且 $ S_{W_p} $ 即使在非满秩信道下也是正确的基本极限，解决了长期悬而未决的开放问题。