[论文解读] Network-Aware Optimization of Distributed Learning for Fog Computing

Su Wang, Yichen Ruan+4 more|arXiv (Cornell University)|Apr 17, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用 6

一句话总结

本文提出了一种面向雾计算的网络感知分布式学习框架，通过优化异构设备之间的数据处理卸载，实现在保持模型准确性的前提下最小化成本。通过建模计算、通信和丢弃成本，该方法在动态网络条件下动态分配数据处理任务，使网络成本降低高达40%，同时保持与联邦学习相当的模型准确度。

ABSTRACT

Fog computing promises to enable machine learning tasks to scale to large amounts of data by distributing processing across connected devices. Two key challenges to achieving this goal are heterogeneity in devices compute resources and topology constraints on which devices can communicate with each other. We address these challenges by developing the first network-aware distributed learning optimization methodology where devices optimally share local data processing and send their learnt parameters to a server for aggregation at certain time intervals. Unlike traditional federated learning frameworks, our method enables devices to offload their data processing tasks to each other, with these decisions determined through a convex data transfer optimization problem that trades off costs associated with devices processing, offloading, and discarding data points. We analytically characterize the optimal data transfer solution for different fog network topologies, showing for example that the value of offloading is approximately linear in the range of computing costs in the network. Our subsequent experiments on testbed datasets we collect confirm that our algorithms are able to improve network resource utilization substantially without sacrificing the accuracy of the learned model. In these experiments, we also study the effect of network dynamics, quantifying the impact of nodes entering or exiting the network on model learning and resource costs.

研究动机与目标

• 解决雾计算环境中设备异构性和通信约束带来的可扩展机器学习挑战。
• 优化数据处理卸载决策，以在分布式学习中平衡计算、通信和数据丢弃成本。
• 开发一种方法论，使设备能够协作训练模型，同时最小化资源使用并保持模型准确度。
• 分析网络动态性（如节点频繁加入/退出和移动性）对模型训练性能和成本效率的影响。
• 证明在网络感知优化下，成本效率优于传统联邦学习，且在真实世界数据轨迹上不牺牲模型准确度。

提出的方法

• 建立一个联合优化数据处理、卸载和丢弃决策的最小化成本问题。
• 使用包含计算、通信和丢弃惩罚的加权成本函数，对本地处理、设备间卸载和数据丢弃之间的权衡进行建模。
• 在特定成本假设下，推导出卸载条件下模型误差的解析边界，表明性能退化是可控且可预测的。
• 实现一种分布式优化算法，使设备能够基于网络拓扑和资源可用性做出本地卸载决策。
• 利用无线测试平台的真实世界数据轨迹，在包括动态节点连接性和变化数据分布在内的实际条件下评估该框架。
• 引入节点进入和退出概率的随机模型，以模拟网络动态性，并评估在节点频繁加入/退出情况下的鲁棒性。

实验结果

研究问题

• RQ1 如何在异构雾设备之间最优地卸载数据处理任务，以在保持模型准确度的前提下最小化总系统成本？
• RQ2 网络动态性（如节点频繁加入/退出和移动性）对雾环境中分布式学习的性能和成本有何影响？
• RQ3 在基于卸载的学习中，数据在设备间的分布（i.i.d. 与非 i.i.d.）如何影响模型准确度？
• RQ4 在动态雾网络中，与传统联邦学习相比，网络感知卸载在多大程度上减少了资源使用？
• RQ5 在成本约束下，使用卸载进行分布式学习时，可推导出的模型误差边界是什么？

主要发现

• 与基线方法相比，网络感知卸载框架将总训练成本降低了高达40%，尤其在高节点频繁加入/退出情况下表现更优。
• 当节点退出概率增至5%时，每时间段内活跃节点的平均数量降至六台以下，较初始状态减少40%。
• 随着节点退出概率增至5%，平均数据移动速率从0.55降至0.2，表明在节点频繁加入/退出条件下设备间通信减少。
• 当节点退出概率达到5%时，测试准确度下降约4%，在非 i.i.d. 数据场景下影响更显著，因数据分布偏移导致性能下降。
• 节点进入概率增加（最高至5%）可提升模型准确度和成本效率，尤其在 i.i.d. 数据设置下，因提供了更多卸载机会。
• 非 i.i.d. 情况下与 i.i.d. 情况相比存在持续的准确度差距，因节点退出扭曲了经验数据分布，降低了模型泛化能力。