[论文解读] Understanding the Performance of Learning Precoding Policy with GNN and CNNs

Bai‐Chuan Zhao, Jia Guo+1 more|arXiv (Cornell University)|Nov 27, 2022

Advanced MIMO Systems Optimization被引用 4

一句话总结

本文通过分析归纳偏差与策略平滑性之间的相互作用，研究了深度神经网络（DNNs）在学习预编码策略时为何泛化性能良好。提出了一种具有边更新机制的图神经网络（EdgeGNN），其归纳偏差与预编码策略的排列等变结构相匹配，相较于卷积神经网络（CNNs）和全连接网络，在高信噪比（SNR）、空间相关性或高用户-天线比条件下展现出更优的样本效率和泛化能力。

ABSTRACT

Learning-based precoding has been shown able to be implemented in real-time, jointly optimized with channel acquisition, and robust to imperfect channels. Yet previous works rarely explain the design choices and learning performance, and existing methods either suffer from high training complexity or depend on problem-specific models. In this paper, we address these issues by analyzing the properties of precoding policy and inductive biases of neural networks, noticing that the learning performance can be decomposed into approximation and estimation errors where the former is related to the smoothness of the policy and both depend on the inductive biases of neural networks. To this end, we introduce a graph neural network (GNN) to learn precoding policy and analyze its connection with the commonly used convolutional neural networks (CNNs). By taking a sum rate maximization precoding policy as an example, we explain why the learned precoding policy performs well in the low signal-to-noise ratio regime, in spatially uncorrelated channels, and when the number of users is much fewer than the number of antennas, as well as why GNN is with higher learning efficiency than CNNs. Extensive simulations validate our analyses and evaluate the generalization ability of the GNN.

研究动机与目标

• 理解基于深度学习的预编码策略在MIMO系统中何时以及为何能良好泛化。
• 分析DNN中归纳偏差（特别是GNN和CNN）对预编码学习性能的影响。
• 识别因策略平滑性较低而难以近似的系统条件。
• 推导DNN的估计误差界并借助仿真验证。
• 证明与策略匹配的归纳偏差（如EdgeGNN中的）可降低样本复杂度并提升泛化能力。

提出的方法

• 设计一种具有边更新机制的图神经网络（EdgeGNN），以匹配预编码策略的排列等变特性。
• 在基于基带预编码以最大化和速率的任务中，将EdgeGNN与两种CNN变体（F-LCNN和CCNN）及全连接网络（FNN）进行比较。
• 将学习性能分解为近似误差（依赖于策略平滑性）和估计误差（依赖于DNN的归纳偏差）。
• 基于其归纳偏差和假设空间约束，推导EdgeGNN、CNN和FNN的理论估计误差界。
• 使用具有不同SNR、空间相关性（ρ）和用户-天线比（K/N）的合成信道数据，评估在不同分布下的泛化性能。
• 在单分布和混合分布数据上进行模型训练，以评估分布外泛化性能。

实验结果

研究问题

• RQ1 在何种系统设置下，由于策略平滑性较低，导致DNN难以近似预编码策略？
• RQ2 DNN的归纳偏差（如CNN中的权共享或GNN中的排列等变性）如何影响估计误差和样本复杂度？
• RQ3 为何EdgeGNN在泛化能力和样本效率方面优于CNN和FNN？
• RQ4 在混合分布数据上进行训练如何影响在不同信道统计特性下的泛化性能？
• RQ5 DNN的归纳偏差在多大程度上与最优预编码策略的结构特性相匹配？

主要发现

• 在混合数据上训练时，EdgeGNN在多样化信道统计（ρ,γ）下实现了98.2%的平均测试准确率，显著优于FNN（89.4%）和F-LCNN（89.7%）。
• 在未相关瑞利信道（ρ=0,γ=0）上训练的EdgeGNN在其他信道类型上泛化最佳，平均性能达97.6%，归因于其对信道分布的高覆盖范围。
• 在高SNR（10 dB）条件下，使用低SNR数据（0 dB）训练的模型性能显著下降（例如，FNN在混合测试集上的准确率从97.8%降至75.3%），表明泛化能力差。
• EdgeGNN与CCNN表现出相似的泛化性能，两者均优于FNN和F-LCNN，原因在于其更小的假设空间和更优的归纳偏差匹配。
• 在（ρ,γ）=（0.8,0）上训练的EdgeGNN表现最差（平均准确率89.4%），证实空间相关性越高，学习难度越大。
• 通过仿真验证了为EdgeGNN、CNN和FNN推导的估计误差界，结果表明归纳偏差显著降低了估计误差和样本复杂度。