[论文解读] Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning

Milad Sefidgaran, Romain Chor+1 more|arXiv (Cornell University)|Jun 6, 2022

Stochastic Gradient Optimization Techniques参考文献 61被引用 4

一句话总结

本文提出了分布式学习中泛化误差的率失真理论界，利用客户端特定的模型压缩性，实现聚合模型变化的 $1/K$ 缩放效应。结果表明，由于局部压缩分析带来的更紧致界，分布式SVM和基于SGLD的联邦学习相比集中式学习，其泛化误差衰减速度更快——达到 $\

ABSTRACT

In this paper, we use tools from rate-distortion theory to establish new upper bounds on the generalization error of statistical distributed learning algorithms. Specifically, there are $K$ clients whose individually chosen models are aggregated by a central server. The bounds depend on the compressibility of each client's algorithm while keeping other clients' algorithms un-compressed, and leverage the fact that small changes in each local model change the aggregated model by a factor of only $1/K$. Adopting a recently proposed approach by Sefidgaran et al., and extending it suitably to the distributed setting, this enables smaller rate-distortion terms which are shown to translate into tighter generalization bounds. The bounds are then applied to the distributed support vector machines (SVM), suggesting that the generalization error of the distributed setting decays faster than that of the centralized one with a factor of $\mathcal{O}(\log(K)/\sqrt{K})$. This finding is validated also experimentally. A similar conclusion is obtained for a multiple-round federated learning setup where each client uses stochastic gradient Langevin dynamics (SGLD).

研究动机与目标

• 通过引入率失真理论，建立分布式学习中更紧致的泛化误差界。
• 分析单个客户端模型的可压缩性如何影响聚合全局模型的泛化性能。
• 证明在特定条件下，分布式学习的泛化能力优于集中式学习。
• 将Sefidgaran等人（2022）的率失真方法扩展至具有可证明改进的分布式设置。
• 在基于分布式SVM和SGLD的联邦学习上，实验验证理论界。

提出的方法

• 通过建模客户端模型的可压缩性，将率失真理论适配于分布式学习中泛化误差的界估计。
• 提出一种与 $1/K$ 成比例的失真准则，反映本地模型变化对全局模型影响的降低。
• 利用信源编码中的有失真覆盖技术，将压缩误差率与泛化误差关联。
• 将该框架应用于分布式SVM和多轮SGLD，推导出高概率界和期望界。
• 采用集中不等式和对称性论证，界定了压缩下模型偏差的尾部概率。
• 推导出显式的泛化误差上界，对于非可分数据，其衰减速度为 $\mathcal{O}(\sqrt{\log K / K})$。

实验结果

研究问题

• RQ1 率失真理论能否在分布式学习中提供比现有互信息或基于压缩的方法更紧致的泛化误差界？
• RQ2 单个客户端模型的可压缩性如何影响聚合全局模型的泛化误差？
• RQ3 分布式学习是否优于集中式学习？若是，其优势因子是多少？
• RQ4 客户端数量 $K$ 在分布式设置中对泛化误差衰减速率有何影响？
• RQ5 所提出的界是否可应用于并验证于分布式SVM和SGLD等实际分布式学习设置？

主要发现

• 分布式SVM的泛化误差衰减速度为 $\mathcal{O}(\sqrt{\log K / K})$，快于集中式情况。
• 对于采用SGLD的多轮联邦学习，泛化误差同样以 $\mathcal{O}(\sqrt{\log K / K})$ 因子衰减。
• 由于局部可压缩性分析，所提出的率失真界比先前基于互信息的界更紧致。
• 本地模型变化对全局模型的 $1/K$ 缩放效应，使得失真准则更宽松，从而改善了界。
• 理论界在实验中得到验证，确认了分布式设置下更快的泛化速度。
• 该方法在泛化分析中实现了互信息、可压缩性和分形框架的统一视角。