[论文解读] Neural Computation of Capacity Region of Memoryless Multiple Access Channels

Farhad Mirkarimi, Nariman Farsad|arXiv (Cornell University)|May 10, 2021

Wireless Communication Security Techniques参考文献 31被引用 9

一句话总结

该论文提出了一种基于神经网络的变分方法，用于计算无记忆多址接入信道（MAC）中互信息的更紧下界，从而实现对可达速率区域更精确且计算效率更高的估计。通过利用KL散度的变分下界和上界，该方法在高信噪比下优于基于MINE的估计器，并为光强MAC提供了比以往工作更紧的内界。

ABSTRACT

This paper provides a numerical framework for computing the achievable rate region of memoryless multiple access channel (MAC) with a continuous alphabet from data. In particular, we use recent results on variational lower bounds on mutual information and KL-divergence to compute the boundaries of the rate region of MAC using a set of functions parameterized by neural networks. Our method relies on a variational lower bound on KL-divergence and an upper bound on KL-divergence based on the f-divergence inequalities. Unlike previous work, which computes an estimate on mutual information, which is neither a lower nor an upper bound, our method estimates a lower bound on mutual information. Our numerical results show that the proposed method provides tighter estimates compared to the MINE-based estimator at large SNRs while being computationally more efficient. Finally, we apply the proposed method to the optical intensity MAC and obtain a new achievable rate boundary tighter than prior works.

研究动机与目标

• 开发一种数值高效且准确的方法，从数据中估计具有连续字母表的无记忆MAC的容量区域。
• 解决在闭式解不可用时计算多用户信道可达速率区域的挑战。
• 改进现有互信息估计器（既非上界也非下界）的不足，提供互信息的严格下界。
• 将该方法应用于容量区域未知的光强MAC，以获得比以往工作更紧的内界。

提出的方法

• 使用基于辅助函数T(x)和标量a ≥ 0的不等式推导出KL散度的变分下界，表达式为D(P||Q) ≥ EP[T(x)] − EQ[e^T(x)]/a − log(a) + 1。
• 使用神经网络φθT(x)参数化函数T(x)，实现KL散度下界端到端的优化。
• 通过定理2利用χ²散度提供KL散度的上界，为变分框架提供理论上的上界限制。
• 构建一个神经信息网络（NIT），学习使互信息下界最大的输入分布，通过归一化层强制执行功率约束。
• 使用自适应学习率的Adam优化器，优化损失函数L(θ) = −EP[φθT(x)] + EQ[e^{φθT(x)′}]/(αa) + log(αa) − 1。
• 训练NIT以最大化互信息和条件互信息的下界，直接从数据中估计MAC容量区域的内界。

实验结果

研究问题

• RQ1 能否使用神经网络近似互信息的变分下界，以有效估计MAC的容量区域？
• RQ2 在高信噪比下，所提出的神经估计器与MINE相比在准确性和计算效率方面表现如何？
• RQ3 所提出的方法能否为光强MAC的容量区域提供比现有方法更紧的内界？
• RQ4 神经互信息估计在不同信噪比下能提供多大程度上可靠且稳定的边界？

主要发现

• 与基于MINE的估计器相比，该方法在高信噪比下对AWGN MAC的可达速率区域估计更紧，且准确度差距随信噪比升高而扩大。
• 该方法通过避免为每个互信息项训练多个神经网络，显著降低了计算复杂度，而MINE方法需分别为I(X;Z|Y)、I(Y;Z|X)和I(X,Y;Z)训练独立网络。
• 对于光强MAC，该神经估计器产生的内界比文献[7]中的先前工作更紧，表明对未知容量区域的估计能力得到提升。
• 观察到基于MINE的估计器在R1 ≥ 0.9时超过已知外边界，表明存在数值不稳定性且缺乏理论保证；而所提方法始终保持在边界内。
• 在单张GPU上，该方法每信噪比点的训练时间约为5分钟，适用于实时或迭代容量区域估计。
• 该方法成功识别出当R1超过0.9时，R2趋近于零，表明其与已知MAC行为一致，验证了估计器在捕捉系统极限方面的可靠性。