[论文解读] Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems

Minh N. H. Nguyen, Shashi Raj Pandey+5 more|arXiv (Cornell University)|Jan 1, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 8

一句话总结

该论文提出 DemLearn，一种自组织分层分布式学习框架，通过使用凝聚聚类动态根据学习相似性形成客户端群体，从而在大规模 AI 系统中增强泛化能力和专业化水平。该方法通过自底向上的分层更新递归求解个性化和泛化学习问题，在 MNIST、Fashion-MNIST、FE-MNIST 和 CIFAR-10 上的泛化性能优于传统联邦学习，同时保持了优异的客户端特定性能。

ABSTRACT

Emerging cross-device artificial intelligence (AI) applications require a transition from conventional centralized learning systems towards large-scale distributed AI systems that can collaboratively perform complex learning tasks. In this regard, democratized learning (Dem-AI) lays out a holistic philosophy with underlying principles for building large-scale distributed and democratized machine learning systems. The outlined principles are meant to study a generalization in distributed learning systems that goes beyond existing mechanisms such as federated learning. Moreover, such learning systems rely on hierarchical self-organization of well-connected distributed learning agents who have limited and highly personalized data and can evolve and regulate themselves based on the underlying duality of specialized and generalized processes. Inspired by Dem-AI philosophy, a novel distributed learning approach is proposed in this paper. The approach consists of a self-organizing hierarchical structuring mechanism based on agglomerative clustering, hierarchical generalization, and corresponding learning mechanism. Subsequently, hierarchical generalized learning problems in recursive forms are formulated and shown to be approximately solved using the solutions of distributed personalized learning problems and hierarchical update mechanisms. To that end, a distributed learning algorithm, namely DemLearn is proposed. Extensive experiments on benchmark MNIST, Fashion-MNIST, FE-MNIST, and CIFAR-10 datasets show that the proposed algorithms demonstrate better results in the generalization performance of learning models in agents compared to the conventional FL algorithms. The detailed analysis provides useful observations to further handle both the generalization and specialization performance of the learning models in Dem-AI systems.

研究动机与目标

• 解决联邦学习系统中模型泛化与个性化之间的固有权衡问题。
• 开发一种可扩展的去中心化学习框架，通过动态分层结构支持专业化和泛化学习。
• 实现基于代理学习特征自组织的大规模分布式 AI 系统，受民主化 AI（Dem-AI）原则启发。
• 在真实世界基准数据集上验证分层泛化与个性化学习的有效性。

提出的方法

• 基于模型参数或梯度的相似性，使用凝聚层次聚类对学习代理进行分组。
• 采用自底向上的递归公式化分层泛化与个性化学习问题。
• 在客户端层面求解个性化学习问题，并应用分层更新机制以优化群体和全局模型。
• 提出一种新型分布式算法 DemLearn，支持分层组结构的周期性重构。
• 支持基于欧几里得距离和余弦相似度的聚类以形成组结构，聚类策略可配置。
• 采用三层架构，包括云服务器（全局模型）、区域边缘服务器（组管理器）和分布式学习代理。

实验结果

研究问题

• RQ1 在非独立同分布（non-i.i.i.d.）和个性化数据存在的情况下，分布式学习系统如何实现泛化与个性化的平衡？
• RQ2 自组织分层聚类能否在不降低客户端专业化水平的前提下提升客户端模型的泛化性能？
• RQ3 基于学习特征的动态分组形成对模型收敛性和准确率有何影响？
• RQ4 分层结构如何影响大规模分布式学习中的通信与计算成本？

主要发现

• 与传统联邦学习相比，DemLearn 在所有数据集上均显著提升了客户端模型的泛化性能，C-GEN 分数更高。
• 该算法保持了强大的客户端特定性能（C-SPE），展示了专业化与泛化之间的良好平衡。
• 在 MNIST 数据集上，使用欧几里得聚类的 DemLearn 在 50 个全局轮次后测试准确率超过 95%，优于基线联邦学习方法。
• 基于余弦相似度的分层聚类在早期轮次中收敛更快，尤其在高维特征空间中表现更优。
• 该系统支持多级泛化模型（超越单一全局模型），在动态环境中实现可扩展且稳健的学习。
• 聚类的计算成本极低（每步 0.0015 秒，50 个客户端），使该方法适用于实时部署。