[论文解读] Semi-Cyclic Stochastic Gradient Descent

Hubert Eichner, Tomer Koren+3 more|arXiv (Cornell University)|Apr 23, 2019

Stochastic Gradient Optimization Techniques被引用 18

一句话总结

本文提出了一种多模型半循环随机梯度下降（SC-SGD）方法，即使在异构数据块中以固定顺序循环采样数据时，仍能保持与独立同分布（i.i.d.）SGD相同的收敛保证。通过为每个数据块训练独立的模型，并采用简单的平均策略进行融合，该方法在仅有两个块的情况下也能实现最优误差界且无性能退化，且在联邦学习中实际表现优于一致性模型。

ABSTRACT

We consider convex SGD updates with a block-cyclic structure, i.e. where each cycle consists of a small number of blocks, each with many samples from a possibly different, block-specific, distribution. This situation arises, e.g., in Federated Learning where the mobile devices available for updates at different times during the day have different characteristics. We show that such block-cyclic structure can significantly deteriorate the performance of SGD, but propose a simple approach that allows prediction with the same performance guarantees as for i.i.d., non-cyclic, sampling.

研究动机与目标

• 分析标准SGD在以块循环顺序采样数据时的性能退化问题，特别是在存在昼夜设备可用性差异的联邦学习设置中。
• 证明即使仅有两个块，标准SGD在块循环采样下也会因周期间持续的分布偏移而失效。
• 提出一种多模型方法，无论块数或循环结构如何，均能保持与i.i.d. SGD相同的收敛保证。
• 通过实证结果表明，当各块分布显著不同时，多模型方法优于一致性模型和理想化的i.i.d.基线模型。

提出的方法

• 将数据建模为m个特定块的分布混合，样本按固定循环顺序在各块间抽取。
• 引入一种多模型训练策略，每个块对应一个独立模型，通过独立的SGD链进行训练。
• 通过聚合各块最近模型迭代结果的简单平均机制，形成最终预测器，确保鲁棒性与收敛性保证。
• 证明该多模型方法即使在最坏情况的块循环采样下，仍能达到与i.i.d. SGD相同的O(√(B²/T))误差界。
• 将方法扩展为一种抗风险变体，可在各块间平衡性能，并在块间差异较大时匹配或超越i.i.d.基线。
• 在具有昼夜模式的真实世界数据上，通过情感分类任务对方法进行实证验证，比较一致性模型与多模型方法的性能。

实验结果

研究问题

• RQ1 标准SGD在以固定循环顺序从不同分布中采样数据的块循环采样下，能否维持最优收敛保证？
• RQ2 当一个循环中仅有两个块时，SGD的性能是否会因每个块包含大量样本而出现任意程度的退化？
• RQ3 在块循环采样下，通过为每个块训练独立预测器的多模型方法，能否实现与i.i.d. SGD相同的收敛保证？
• RQ4 当各块分布显著不同时，多模型方法是否在性能上可与或优于理想化的i.i.d.基线？
• RQ5 在非i.i.d.设置下，抗风险多模型方法能否在保持各块强性能的同时，匹配或超越i.i.d.训练的准确率？

主要发现

• 块循环采样可能导致标准SGD出现任意程度的性能退化，即使仅有两个块，原因在于周期间持续的分布偏移。
• 所提出的多模型方法即使在最坏情况的块循环采样下，仍能实现与i.i.d. SGD相同的O(√(B²/T))收敛保证，且不依赖于块数或循环结构。
• 实证结果表明，多模型方法在各块分布差异显著时，优于在相同块循环数据上训练的一致性模型。
• 多模型方法在性能上可匹配或超越理想化的i.i.d.基线，表明主动拥抱异构性可提升泛化能力。
• 多模型方法的抗风险变体在各块间保持强性能，并在块间差异较大时，与i.i.d.训练相比具有竞争力或更优表现。