[论文解读] Reinforcement Learning Based Transmission Range Control (RL-TRC) in SD-WSN with Moving Sensors

Anuradha Banerjee, Abu Sufian|arXiv (Cornell University)|May 17, 2020

Energy Efficient Wireless Sensor Networks参考文献 16被引用 4

一句话总结

本文提出了一种基于强化学习的传输范围控制（RL-TRC）方案，用于具有移动传感器的软件定义无线传感器网络（SD-WSNs），以优化能效。通过使用ε-贪心算法，根据网络状态和奖励反馈动态选择传输功率水平，RL-TRC在保持高网络吞吐量的同时降低了能耗，证明了其在物联网应用中的适用性。

ABSTRACT

Routing in Software-Defined Wireless sensor networks (SD-WSNs) can be either single or multi-hop whereas the network is either static or dynamic. In static SD-WSN, the selection of the optimum route from source to destination is accomplished by the SDN controller(s). On the other hand, if moving sensors are there then SDN controllers of zones are not able to handle route discovery sessions by themselves; they can only store information about the most recent zone state. Moving sensors find lots of applications in robotics where robots continue to move from one room to another to sensing the environment. A huge amount of energy can be saved in these kinds of networks if transmission range control is applied. The multiple power levels exist in each node, and each of these levels takes possible actions after a potential sender node decides to transmit/forward a message. Based on each such action, the next states of the concerned sender node as well as the communication session are re-determined while the router receives a reward. In order to decide the optimum power level in the next iteration, the Epsilon-greedy algorithm is applied in this study. It is determined anew depending upon the present network scenario. Simulation results show that our proposed work leads the network to equilibrium by reducing energy consumption and maintaining network throughput that are suitable for IoT.

研究动机与目标

• 解决具有动态拓扑的移动软件定义无线传感器网络（SD-WSNs）中能量效率低下的挑战。
• 使移动传感器环境中的SDN控制器能够自适应地管理路由发现和传输功率水平。
• 通过动态选择最优传输功率水平，降低移动传感器网络的能耗。
• 在动态多跳路由场景中，最小化能耗的同时保持高网络吞吐量。
• 开发一种适用于物联网驱动的移动传感器网络的可扩展、自适应的传输范围控制机制。

提出的方法

• RL-TRC框架利用强化学习，根据当前网络状态和奖励反馈，为每个节点确定最优传输功率水平。
• 每次传输操作都会触发状态转移，路由器根据传输结果获得奖励。
• 采用ε-贪心算法在选择下一个功率水平时平衡探索与利用，以适应实时网络状况。
• 传输功率水平被建模为离散动作，每个动作对应特定的传输范围和能耗成本。
• 系统根据观测到的奖励持续更新其策略，从而收敛到能效最优的路由策略。
• 该方法应用于多跳路由场景，其中移动传感器需要超越静态控制器能力的动态路由自适应。

实验结果

研究问题

• RQ1 如何在移动SD-WSNs中优化传输范围控制，以降低能耗而不损害网络性能？
• RQ2 何种强化学习策略能够根据移动传感器引起的动态网络状态，实现自适应的功率水平选择？
• RQ3 ε-贪心算法在动态传输范围控制中如何实现探索与利用的平衡？
• RQ4 RL-TRC在移动传感器网络中能在多大程度上保持网络吞吐量的同时最小化能耗？
• RQ5 所提出的RL-TRC框架能否在能效和可靠性方面实现物联网应用的网络均衡？

主要发现

• RL-TRC框架通过根据实时网络反馈动态调整传输功率水平，成功降低了移动SD-WSNs中的能耗。
• 系统通过自适应功率水平选择，平衡能效与吞吐量，实现了网络均衡。
• 采用ε-贪心算法有效探索了传输功率选项，同时随时间更倾向于高奖励动作。
• 仿真结果证实，即使在具有移动传感器的动态环境中，RL-TRC也能保持高网络吞吐量。
• 所提出的方法通过优化移动、多跳无线传感器网络中的能耗，证明了其适用于物联网应用。
• 该框架使SDN控制器能够通过基于奖励反馈学习到的策略，管理移动区域内的路由发现。