[论文解读] Towards Geo-Distributed Machine Learning

Ignacio Cano, Markus Weimer+3 more|arXiv (Cornell University)|Mar 30, 2016

Privacy-Preserving Technologies in Data参考文献 29被引用 27

一句话总结

本文提出地理分布式机器学习（GDML），设计了一套通信高效、多数据中心协同的训练系统，通过将原始数据保留在本地，显著降低跨数据中心带宽消耗，并提升对数据主权法规的合规性。通过采用稀疏通信算法（如CoCoA），该方法相比集中式方法将带宽使用降低数个数量级，同时保持具有竞争力的训练性能。

ABSTRACT

Latency to end-users and regulatory requirements push large companies to build data centers all around the world. The resulting data is "born" geographically distributed. On the other hand, many machine learning applications require a global view of such data in order to achieve the best results. These types of applications form a new class of learning problems, which we call Geo-Distributed Machine Learning (GDML). Such applications need to cope with: 1) scarce and expensive cross-data center bandwidth, and 2) growing privacy concerns that are pushing for stricter data sovereignty regulations. Current solutions to learning from geo-distributed data sources revolve around the idea of first centralizing the data in one data center, and then training locally. As machine learning algorithms are communication-intensive, the cost of centralizing the data is thought to be offset by the lower cost of intra-data center communication during training. In this work, we show that the current centralized practice can be far from optimal, and propose a system for doing geo-distributed training. Furthermore, we argue that the geo-distributed approach is structurally more amenable to dealing with regulatory constraints, as raw data never leaves the source data center. Our empirical evaluation on three real datasets confirms the general validity of our approach, and shows that GDML is not only possible but also advisable in many scenarios.

研究动机与目标

• 解决在全球分布数据上训练机器学习模型时，降低跨数据中心带宽消耗并符合数据主权法规的挑战。
• 挑战当前将地理分布数据集中化训练的普遍做法，该做法带来高昂的带宽成本和监管风险。
• 设计并评估一种地理分布式学习系统，将原始数据保留在本地，仅传输模型统计信息，从而降低基础设施成本。
• 证明通信高效算法可使大规模机器学习工作负载的分布式训练在实际中可行且具有成本效益。
• 为面向全球规模、隐私敏感的机器学习系统与算法新类别奠定基础。

提出的方法

• 扩展Apache Hadoop YARN和Apache REEF，以支持具有跨数据中心协调能力的多数据中心机器学习工作负载。
• 采用通信稀疏的对偶优化算法（CoCoA），最大限度减少数据中心之间的通信轮次。
• 使用原始-对偶分解方法，各数据中心独立训练本地模型，仅交换梯度或对偶变量。
• 以$l_2$-正则化逻辑回归作为基础模型，用于评估性能与带宽效率。
• 设计系统以避免在数据中心之间传输原始数据，从而保持数据本地性并确保合规性。
• 采用迭代优化方法，通过最少的跨数据中心通信实现全局模型收敛。

实验结果

研究问题

• RQ1 使用通信高效算法的地理分布式训练是否能实现比集中式数据复制更低的跨数据中心带宽消耗？
• RQ2 在学习运行时间和收敛速度方面，地理分布式训练与集中式训练相比表现如何？
• RQ3 与集中式方法相比，地理分布式学习在多大程度上能缓解监管与数据主权挑战？
• RQ4 在大规模场景下，分布式训练的通信开销是否可控且具有成本效益，尤其考虑到跨数据中心带宽的稀缺性？
• RQ5 当数据中心发生故障或无法访问时，地理分布式架构的容错能力与集中式系统相比如何？

主要发现

• 与集中式数据复制相比，地理分布式方法将跨数据中心带宽消耗降低了数个数量级，显著降低基础设施成本。
• 尽管在具备数据流式传输的条件下，集中式训练可实现更快的学习运行时间，但分布式方法大幅降低了带宽成本，使其在大规模部署中更具经济性。
• 所提出的系统在保持原始数据本地化于各数据中心的同时，成功维持了与集中式训练相当的模型准确率。
• 通信高效算法CoCoA通过极低的数据传输量实现了有效的模型收敛，证明其适用于真实世界的地理分布式工作负载。
• 地理分布式方法在结构上对数据主权约束更具韧性，因为原始数据始终不会离开其所属的数据中心。
• 本研究识别出多区域部署中的容错能力是一个关键开放问题，尤其当区域故障导致数据偏移性丢失时。