[论文解读] Towards Real-World 6G Drone Communication: Position and Camera Aided Beam Prediction

Gouranga Charan, Andrew Hredzak+5 more|arXiv (Cornell University)|May 24, 2022

Millimeter-Wave Propagation and Modeling被引用 5

一句话总结

本文提出了一种基于深度学习的毫米波/太赫兹无人机通信波束预测框架，通过融合视觉与位置数据以减少波束训练开销。基于真实世界数据集（DeepSense 6G），视觉辅助方法实现了86.32%的top-1准确率，top-3与top-5准确率接近100%，显著优于仅使用位置信息或组合传感器的方法。

ABSTRACT

Millimeter-wave (mmWave) and terahertz (THz) communication systems typically deploy large antenna arrays to guarantee sufficient receive signal power. The beam training overhead associated with these arrays, however, make it hard for these systems to support highly-mobile applications such as drone communication. To overcome this challenge, this paper proposes a machine learning-based approach that leverages additional sensory data, such as visual and positional data, for fast and accurate mmWave/THz beam prediction. The developed framework is evaluated on a real-world multi-modal mmWave drone communication dataset comprising of co-existing camera, practical GPS, and mmWave beam training data. The proposed sensing-aided solution achieves a top-1 beam prediction accuracy of 86.32% and close to 100% top-3 and top-5 accuracies, while considerably reducing the beam training overhead. This highlights a promising solution for enabling highly mobile 6G drone communications.

研究动机与目标

• 为解决由于高速移动和大规模阵列天线导致的毫米波/太赫兹无人机通信中波束训练开销过高的问题。
• 评估此前在合成数据上测试的感知辅助波束预测方法是否可泛化至真实世界无人机场景。
• 开发并验证一种基于视觉、位置和高度数据的多模态深度学习框架，以实现高精度波束预测。
• 量化在真实毫米波无人机通信中，视觉数据相较于仅位置信息或组合传感器输入的性能增益。
• 基于大规模真实世界多模态数据集（DeepSense 6G）建立感知辅助波束预测的基准。

提出的方法

• 该框架使用ResNet-50模型处理基站摄像头获取的视觉数据以进行波束预测。
• 针对位置、高度和距离数据分别训练全连接神经网络，以预测最优波束索引。
• 系统利用真实世界多模态数据，包括毫米波波束训练结果、GPS数据和DeepSense 6G数据集中的摄像头图像。
• 模型使用交叉熵损失函数，并通过Adam优化器进行训练，超参数通过验证集调优。
• 采用top-k准确率作为主要评估指标，衡量真实波束是否位于top-k预测波束中的概率。
• 该方法整合多种感官输入以预测波束索引，无需进行全量波束训练，显著降低开销。

Figure 1: An illustration of the mmWave basestation serving a drone in a real wireless environment. The basestation utilizes additional sensing data such as RGB images, GPS location of the drone, etc., to predict the optimal beam.

实验结果

研究问题

• RQ1 在真实世界毫米波无人机通信场景中，视觉与位置辅助的波束预测能否实现高准确率？
• RQ2 与仅使用位置信息或组合位置/高度/距离信息相比，视觉数据的引入在波束预测准确率上有何差异？
• RQ3 无人机飞行速度与高度如何影响感知辅助波束预测模型的性能？
• RQ4 深度学习在高度移动的毫米波/太赫兹无人机系统中，能在多大程度上减少波束训练开销？
• RQ5 所提出的框架是否能从合成数据泛化到真实世界动态、三维无人机移动场景？

主要发现

• 视觉辅助波束预测模型实现了86.32%的top-1准确率，显著优于仅使用位置信息的方法。
• top-3与top-5波束预测准确率分别达到99.41%与99.69%，表明波束选择具有高度可靠性。
• 仅使用位置信息的方法top-1准确率仅为59%，凸显了仅依赖GPS数据的局限性。
• 当无人机飞行高度低于40米时，波束预测准确率显著下降，尤其对非视觉模型影响明显。
• 随着无人机速度增加，性能下降，尤其对基于位置的模型更为显著，凸显了在高速场景中视觉感知的必要性。
• 视觉数据的整合使波束预测在包括六自由度运动在内的多样化飞行动态下均保持稳健。

Figure 2: A block diagram showing the proposed solution for both the vision and position-aided beam prediction task. As shown in the figure, the camera installed at the basestation captures real-time images of the drone in the wireless environment. A CNN is then utilized to predict the optimal beam