[论文解读] Split Learning over Wireless Networks: Parallel Design and Resource Management

Wen Wu, Mushu Li+7 more|arXiv (Cornell University)|Apr 18, 2022

Indoor and Outdoor Localization Technologies被引用 9

一句话总结

该论文提出了一种基于聚类的并行分割学习（CPSL）框架，通过在集群内并行训练设备端模型，随后进行集群间串行训练，显著降低了无线边缘人工智能中的训练延迟。通过采用双时间尺度资源管理算法，联合优化切分层选择、设备聚类和无线频谱分配，CPSL相较于基准方案将每轮训练延迟降低了高达80.1%，同时在非独立同分布（non-IID）数据上保持了模型精度。

ABSTRACT

Split learning (SL) is a collaborative learning framework, which can train an artificial intelligence (AI) model between a device and an edge server by splitting the AI model into a device-side model and a server-side model at a cut layer. The existing SL approach conducts the training process sequentially across devices, which incurs significant training latency especially when the number of devices is large. In this paper, we design a novel SL scheme to reduce the training latency, named Cluster-based Parallel SL (CPSL) which conducts model training in a "first-parallel-then-sequential" manner. Specifically, the CPSL is to partition devices into several clusters, parallelly train device-side models in each cluster and aggregate them, and then sequentially train the whole AI model across clusters, thereby parallelizing the training process and reducing training latency. Furthermore, we propose a resource management algorithm to minimize the training latency of CPSL considering device heterogeneity and network dynamics in wireless networks. This is achieved by stochastically optimizing the cut layer selection, real-time device clustering, and radio spectrum allocation. The proposed two-timescale algorithm can jointly make the cut layer selection decision in a large timescale and device clustering and radio spectrum allocation decisions in a small timescale. Extensive simulation results on non-independent and identically distributed data demonstrate that the proposed solutions can greatly reduce the training latency as compared with the existing SL benchmarks, while adapting to network dynamics.

研究动机与目标

• 为解决现有分割学习（SL）框架在大规模物联网部署中因设备训练顺序进行而导致的高训练延迟问题。
• 通过设备聚类引入并行性，降低无线网络中的训练延迟，同时保持模型精度。
• 设计一种双时间尺度资源管理算法，联合优化在设备异构性和网络动态变化条件下的切分层选择、设备聚类和无线频谱分配。
• 在非独立同分布数据和真实无线条件下，评估CPSL及其资源管理算法的性能。

提出的方法

• CPSL将设备划分为多个集群，以实现每个集群内设备端模型的并行训练，随后进行集群间的串行训练。
• 该框架采用‘先并行后串行’的训练策略，在保持模型收敛性的同时降低整体延迟。
• 提出一种双时间尺度资源管理算法：长期进行切分层选择，短期进行设备聚类与频谱分配。
• 该算法采用基于李雅普诺夫（Lyapunov）的随机优化方法，平衡延迟与系统约束。
• 设备聚类根据设备实时计算能力和信道条件动态调整。
• 每时隙对无线频谱分配进行优化，以最小化训练延迟并缓解慢速者（straggler）效应。

实验结果

研究问题

• RQ1 在无线网络中扩展至大量设备时，如何降低分割学习的训练延迟？
• RQ2 在集群化并行SL框架中，通信开销、计算负载与训练延迟之间的最优权衡是什么？
• RQ3 如何联合管理设备异构性与动态无线信道条件，以最小化CPSL中的训练延迟？
• RQ4 切分层选择对CPSL中训练延迟与模型精度有何影响？
• RQ5 所提出的双时间尺度资源管理算法相较于启发式与随机聚类策略，在降低延迟方面的有效性如何？

主要发现

• 在相同条件下，所提出的CPSL方案将每轮训练延迟降低至3.78秒，而传统SL为13.90秒，联邦学习（FL）为33.43秒。
• 当每个集群包含5台设备时，CPSL达到最低训练延迟，表明该规模为延迟最小化的最优聚类大小。
• 最优切分层（POOL1）通过平衡通信与计算负载，将每轮训练延迟降至最低，其通信开销比FL低97.8%。
• 所提出的资源管理算法相较于启发式聚类基准方案平均降低80.1%的训练延迟，相较于随机聚类方案降低56.9%的延迟。
• 在频谱受限场景（如10 MHz）中性能增益更加显著，凸显该算法在资源受限条件下缓解慢速者效应的有效性。
• 所有方案（包括CPSL）在MNIST与Fashion-MNIST数据集上均达到几乎相同的模型精度，证实并行化未造成精度损失。