[论文解读] Transfer Learning for Mixed-Integer Resource Allocation Problems in Wireless Networks

Yifei Shen, Yuanming Shi+2 more|arXiv (Cornell University)|Nov 17, 2018

Sparse and Compressive Sensing Techniques参考文献 15被引用 4

一句话总结

该论文提出一种基于自模仿的迁移学习方法，以解决无线网络中基于机器学习的资源分配在任务不匹配时的问题，即预训练模型在动态网络条件下性能下降。通过利用新环境中的无标签样本，并将探索过程中找到的最佳解作为伪标签，该方法仅用极少的标注数据即可微调策略，实现接近最优的性能，且训练速度相比从零开始训练快达15倍。

ABSTRACT

Effective resource allocation plays a pivotal role for performance optimization in wireless networks. Unfortunately, typical resource allocation problems are mixed-integer nonlinear programming (MINLP) problems, which are NP-hard. Machine learning based methods recently emerge as a disruptive way to obtain near-optimal performance for MINLP problems with affordable computational complexity. However, they suffer from severe performance deterioration when the network parameters change, which commonly happens in practice and can be characterized as the task mismatch issue. In this paper, we propose a transfer learning method via self-imitation, to address this issue for effective resource allocation in wireless networks. It is based on a general "learning to optimize" framework for solving MINLP problems. A unique advantage of the proposed method is that it can tackle the task mismatch issue with a few additional unlabeled training samples, which is especially important when transferring to large-size problems. Numerical experiments demonstrate that with much less training time, the proposed method achieves comparable performance with the model trained from scratch with sufficient amount of labeled samples. To the best of our knowledge, this is the first work that applies transfer learning for resource allocation in wireless networks.

研究动机与目标

• 解决动态无线网络中基于机器学习的资源分配存在的任务不匹配问题，即当网络参数发生变化时模型性能下降的问题。
• 降低在新网络环境中重新训练模型的训练时间与标注成本，尤其针对大规模混合整数非线性规划（MINLP）问题。
• 仅使用少量无标签样本和自生成标签，实现预训练策略在新场景中的高效适应。
• 证明通过自模仿的迁移学习可实现与使用完整标注数据集从零开始训练的模型相当的性能。

提出的方法

• 采用一种通用的“学习优化”框架，基于分支定界算法求解无线网络中的MINLP问题。
• 该方法首先在一个特定网络配置的源数据集上，利用丰富的标注样本训练策略。
• 在迁移阶段，将预训练策略与探索策略结合，以在目标网络设置中遍历分支定界树，生成无标签样本。
• 将探索过程中找到的最佳解作为伪标签用于策略微调，避免了对外部标注的依赖。
• 自模仿过程采用动态混合比例 α = min(1, 0.2k) 来平衡树遍历过程中的开发与探索。
• 该方法应用于云无线接入网前回传功率最小化问题，其中整数变量表示射频拉远单元（RRH）的选择与用户关联。

实验结果

研究问题

• RQ1 通过自模仿的迁移学习是否能有效缓解网络条件变化时基于机器学习的资源分配性能下降问题？
• RQ2 来自新环境的少量无标签样本在无需外部标注的情况下，能在多大程度上实现有效的策略微调？
• RQ3 与从零开始训练相比，该方法在性能差距和训练速度方面表现如何？
• RQ4 该方法在不同网络配置（如用户数量、RRH数量和用户分布变化）下是否仍能保持高性能？

主要发现

• 所提出的自模仿迁移学习方法在不同目标SINR水平下，与最优解的性能差距为0.7%至2.4%，与“从零开始训练”基线方法相当。
• 与从零开始训练相比，该方法在训练时间上实现了10.1倍至15.6倍的加速，尤其在源分布与目标分布相似的场景中加速效果最显著。
• 对于动态用户移动性场景，该方法相比分支定界算法实现了22.9倍至23.4倍的加速，性能与完整标注数据训练的基线方法一致。
• 训练速度的提升归因于源任务知识的迁移以及微调阶段无需生成标签的时间开销，因为微调过程完全不依赖外部标签。
• 在不同网络配置（如RRH和用户数量不同）下，该方法仍能实现0.5%至1.9%的性能差距，并相比分支定界算法实现13.4倍的加速。