[论文解读] Q-NAV: NAV Setting Method based on Reinforcement Learning in Underwater Wireless Networks

Seok-Hyeon Park, Ohyun Jo|arXiv (Cornell University)|May 21, 2020

Underwater Vehicles and Communication Systems被引用 2

一句话总结

本文提出 Q-NAV，一种基于强化学习的方法，用于在水下无线网络中动态设置 NAV（网络分配向量），以减少延迟和空间不平等。通过使用 ALOHA-Q 并结合环境驱动的奖励反馈，系统通过试错学习最优 NAV 值，与传统方法相比，NAV 时间减少了 17.5%。

ABSTRACT

The demand on the underwater communications is extremely increasing in searching for underwater resources, marine expedition, or environmental researches, yet there are many problems with the wireless communications because of the characteristics of the underwater environments. Especially, with the underwater wireless networks, there happen inevitable delay time and spacial inequality due to the distances between the nodes. To solve these problems, this paper suggests a new solution based on ALOHA-Q. The suggested method use random NAV value. and Environments take reward through communications success or fail. After then, The environments setting NAV value from reward. This model minimizes usage of energy and computing resources under the underwater wireless networks, and learns and setting NAV values through intense learning. The results of the simulations show that NAV values can be environmentally adopted and select best value to the circumstances, so the problems which are unnecessary delay times and spacial inequality can be solved. Result of simulations, NAV time decreasing 17.5% compared with original NAV.

研究动机与目标

• 应对海洋研究、资源勘探和环境监测等领域对可靠水下无线通信日益增长的需求。
• 缓解水下网络固有的问题，包括由于节点距离变化导致的高传播延迟和空间不平等。
• 通过自适应 NAV 值选择，减少能源和计算资源的使用，同时提升网络效率。
• 开发一种基于学习的 NAV 配置机制，能够动态适应环境条件。

提出的方法

• 采用基于 ALOHA-Q 的强化学习框架，实现 NAV 值的自主选择。
• 使用随机初始 NAV 值，并允许环境根据通信成功或失败情况分配奖励。
• 通过奖励反馈迭代更新 NAV 设置，引导学习过程趋向最优值。
• 通过重复仿真训练系统，学习特定环境下的 NAV 配置。
• 通过基于实时网络反馈动态调整 NAV，最小化资源消耗。
• 使系统能够收敛到当前信道和节点距离条件下的最佳 NAV 值。

实验结果

研究问题

• RQ1 基于强化学习的方法能否有效减少水下无线网络中的 NAV 相关延迟？
• RQ2 动态 NAV 自适应如何改善水下网络的公平性并减少空间不平等？
• RQ3 通过学习到的 NAV 配置，能源和计算资源的节约程度如何？
• RQ4 与传统的固定 NAV 方法相比，所提出的 Q-NAV 方法在性能方面表现如何？

主要发现

• Q-NAV 方法能够根据环境反馈成功学习并自适应调整 NAV 值，从而提升网络响应能力。
• 与原始 NAV 机制相比，该系统将 NAV 时间减少了 17.5%，表明效率得到提升。
• 动态 NAV 自适应有效缓解了不同节点距离下不必要的延迟和空间不平等。
• 强化学习框架通过避免次优 NAV 设置，实现了能源和计算资源的节省。
• 该方法展现出良好的环境适应能力，能够根据实时网络条件选择最优 NAV 值。
• 仿真结果证实，学习到的 NAV 值能提升通信成功率并减少冲突。