[论文解读] Optimal Model Averaging: Towards Personalized Collaborative Learning

Felix Grimberg, Mary‐Anne Hartley+2 more|arXiv (Cornell University)|Oct 25, 2021

Privacy-Preserving Technologies in Data参考文献 14被引用 5

一句话总结

该论文提出在联邦和去中心化设置下，针对个性化协同学习的最优加权模型平均方法，表明当局部方差非零时，任何正量的平均都能降低相对于本地模型的期望平方误差。关键结果是，最优平均通过等于最优权重的分数减少误差，而次优权重超过最优值两倍时会导致性能下降。

ABSTRACT

In federated learning, differences in the data or objectives between the participating nodes motivate approaches to train a personalized machine learning model for each node. One such approach is weighted averaging between a locally trained model and the global model. In this theoretical work, we study weighted model averaging for arbitrary scalar mean estimation problems under minimal assumptions on the distributions. In a variant of the bias-variance trade-off, we find that there is always some positive amount of model averaging that reduces the expected squared error compared to the local model, provided only that the local model has a non-zero variance. Further, we quantify the (possibly negative) benefit of weighted model averaging as a function of the weight used and the optimal weight. Taken together, this work formalizes an approach to quantify the value of personalization in collaborative learning and provides a framework for future research to test the findings in multivariate parameter estimation and under a range of assumptions.

研究动机与目标

• 通过最优模型平均形式化个性化在协同学习中的价值。
• 在最小分布假设下，量化本地模型与全局模型之间加权平均带来的期望平方误差减少量。
• 确定最优平均权重及其对模型方差和偏差的敏感性。
• 识别模型平均相对于本地模型改善或损害性能的条件。
• 为多变量估计和个性化学习的未来研究提供理论基础。

提出的方法

• 分析两个估计器的线性组合：本地经验均值 $\bar{X}$ 和辅助模型 $\bar{Y}$，采用加权平均 $ (1-\alpha)\bar{X} + \alpha\bar{Y} $。
• 推导出最小化相对于真实本地均值 $\mathbb{E}[\bar{X}]$ 的期望平方误差的最优权重 $\alpha^\star$。
• 将误差表示为 $\alpha$ 和 $\alpha^\star$ 的函数，表明当 $\alpha < 2\alpha^\star$ 时，性能优于 $\bar{X}$。
• 建立最优平均带来的误差减少量恰好等于 $\alpha^\star$ 乘以本地模型的误差。
• 使用方差与偏差分解，将 $\alpha^\star$ 表示为 $\mathrm{Var}[\bar{X}]$、$\mathrm{Var}[\bar{Y}]$ 和 $|\mathbb{E}[\bar{X}] - \mathbb{E}[\bar{Y}]|^2$ 的函数。
• 在特定假设下验证与先前工作（Donahue & Kleinberg, 2020）的等价性，确认在一维情况下的一致性。

实验结果

研究问题

• RQ1 在期望平方误差方面，加权模型平均在何种情况下优于本地模型？
• RQ2 模型平均的最优权重 $\alpha^\star$ 是什么？它在何种情况下严格为正？
• RQ3 次优加权如何影响性能？哪些权重范围会导致性能提升或退化？
• RQ4 最优权重如何依赖于本地模型和辅助模型的方差与偏差？
• RQ5 在未完全掌握模型方差与偏差的情况下，理论误差减少量是否可在实际中实现？

主要发现

• 只要本地模型 $\bar{X}$ 的方差非零，最优平均权重 $\alpha^\star$ 始终为正。
• 最优加权平均的期望平方误差相比本地模型 $\bar{X}$ 减少了 $\alpha^\star$ 的比例。
• 任何权重 $\alpha < 2\alpha^\star$ 均导致比 $\bar{X}$ 更低的期望平方误差，而 $\alpha > 2\alpha^\star$ 则导致更高的误差。
• 即使权重很小（$\alpha < \alpha^\star$），也能带来相对较大的误差减少。
• 最优权重 $\alpha^\star$ 主要取决于本地模型方差与辅助模型方差及两模型间平方偏差之和的比值。
• 只有在精确知道两个模型的偏差与方差时，才能实现理论误差界，而这种情况在实践中通常不可行。