[论文解读] The Linear Information Coupling Problems

Shao‐Lun Huang, Lizhong Zheng|arXiv (Cornell University)|Jun 11, 2014

Wireless Communication Security Techniques参考文献 15被引用 5

一句话总结

本文通过在局部扰动下将概率分布空间近似为欧几里得空间，提出了一种用于求解多终端信息论问题的几何框架。通过利用Kullback-Leibler散度的线性化（以平方欧几里得范数表示），作者将复杂的信息耦合问题简化为线性代数问题，从而实现系统化的单字母化，并揭示了多址信道中的相干合并增益以及广播信道中的权衡关系。

ABSTRACT

Many network information theory problems face the similar difficulty of single-letterization. We argue that this is due to the lack of a geometric structure on the space of probability distribution. In this paper, we develop such a structure by assuming that the distributions of interest are close to each other. Under this assumption, the K-L divergence is reduced to the squared Euclidean metric in an Euclidean space. In addition, we construct the notion of coordinate and inner product, which will facilitate solving communication problems. We will present the application of this approach to the point-to-point channel, general broadcast channel, and the multiple access channel (MAC) with the common source. It can be shown that with this approach, information theory problems, such as the single-letterization, can be reduced to some linear algebra problems. Moreover, we show that for the general broadcast channel, transmitting the common message to receivers can be formulated as the trade-off between linear systems. We also provide an example to visualize this trade-off in a geometric way. Finally, for the MAC with the common source, we observe a coherent combining gain due to the cooperation between transmitters, and this gain can be quantified by applying our technique.

研究动机与目标

• 通过在概率分布空间上引入几何结构，解决多终端信息论中单字母化的基本挑战。
• 通过K-L散度的线性化，将输入分布的小幅扰动建模为欧几里得空间中的局部线性近似。
• 基于线性代数，统一处理点对点、广播和多址信道。
• 证明多址信道中的相干合并增益以及广播信道中的权衡关系可自然地从该几何公式中导出。

提出的方法

• 假设输入和输出分布局部接近，将Kullback-Leibler散度简化为切空间中的平方欧几里得距离。
• 在分布空间上定义坐标系和内积，以支持线性代数运算。
• 将线性信息耦合问题表述为在信息调制和分布偏差约束下最大化互信息。
• 通过发散转移矩阵（DTM）的奇异值分解分析信道容量和信息流。
• 应用张量积结构将单用户信道结果推广至多用户信道，保持块长变化下奇异值的不变性。
• 证明最优解对应于DTM的奇异向量，正交性约束确保最大信息传输。

实验结果

研究问题

• RQ1 在一般多终端通信问题中，如何系统性地实现单字母化？
• RQ2 在局部扰动下，概率分布空间中会涌现出何种几何结构？
• RQ3 多址信道中的相干合并增益如何由发射端之间的相互作用产生？
• RQ4 在此框架下，广播信道中公共消息与私有消息之间的权衡性质是什么？
• RQ5 线性信息耦合问题的解是否可积分以恢复全局容量达到方案？

主要发现

• 在局部扰动假设下，线性信息耦合问题可简化为单字母优化问题，从而实现系统化的单字母化。
• 发散转移矩阵（DTM）的第二大奇异值在不同块长下保持不变，表明性能具有稳定缩放特性。
• 对于具有公共源的多址信道，由于相长干涉，出现了相干合并增益，其可通过DTM的奇异向量量化。
• 在广播信道中，发送公共消息对应于线性系统中的权衡，可通过奇异向量对齐的几何方式直观表示。
• 最优输入分布扰动位于输入分布平方根的正交方向，从而在功率约束下实现最大信息传输。
• 通过积分局部线性耦合问题的解，该方法可恢复已知的容量达到方案，证明了其全局一致性。