[论文解读] On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks

Minsu Kim, Walid Saad+2 more|arXiv (Cornell University)|Nov 15, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种量化联邦学习框架，通过联合管理精度、准确率和能耗，在无线网络中优化能效。通过为本地训练和上行链路传输建模量化神经网络（QNNs）的能耗，并采用线搜索方法最小化总能耗同时确保收敛性，该框架相比标准32位联邦学习，能耗最高可降低53%，尤其在大模型中表现显著。

ABSTRACT

Deploying federated learning (FL) over wireless networks with resource-constrained devices requires balancing between accuracy, energy efficiency, and precision. Prior art on FL often requires devices to train deep neural networks (DNNs) using a 32-bit precision level for data representation to improve accuracy. However, such algorithms are impractical for resource-constrained devices since DNNs could require execution of millions of operations. Thus, training DNNs with a high precision level incurs a high energy cost for FL. In this paper, a quantized FL framework, that represents data with a finite level of precision in both local training and uplink transmission, is proposed. Here, the finite level of precision is captured through the use of quantized neural networks (QNNs) that quantize weights and activations in fixed-precision format. In the considered FL model, each device trains its QNN and transmits a quantized training result to the base station. Energy models for the local training and the transmission with the quantization are rigorously derived. An energy minimization problem is formulated with respect to the level of precision while ensuring convergence. To solve the problem, we first analytically derive the FL convergence rate and use a line search method. Simulation results show that our FL framework can reduce energy consumption by up to 53% compared to a standard FL model. The results also shed light on the tradeoff between precision, energy, and accuracy in FL over wireless networks.

研究动机与目标

• 为解决在能源受限的无线网络中平衡能效、精度和准确率的挑战。
• 开发一个整体模型，同时考虑量化联邦学习中本地训练和上行链路传输的能耗成本。
• 优化QNN中的精度水平，以最小化总能耗，同时保持目标准确率和收敛性。
• 对无线联邦学习中精度、能耗和准确率之间的权衡关系进行系统性分析。

提出的方法

• 提出一种量化联邦学习框架，其中本地训练和上行链路传输均使用具有量化权重和激活值的定点精度QNN。
• 基于处理芯片的物理结构，建立本地训练的严谨能耗模型，捕捉计算和内存访问成本。
• 推导出考虑量化影响的上行链路传输能耗模型，包括精度对数据大小和传输能耗的影响。
• 使用包含量化误差和模型大小的解析表达式，分析量化联邦学习系统的收敛速率。
• 将精度水平上的能耗最小化问题公式化，受收敛性和准确率约束，通过线搜索方法求解。
• 使用线搜索算法寻找最小化总能耗且确保收敛至目标准确率的最优精度水平。

Figure 1: An illustration of the quantized FL model over wireless network.

实验结果

研究问题

• RQ1 在保持收敛性和目标准确率的前提下，使联邦学习总能耗最小化的最优精度水平是什么？
• RQ2 量化如何影响联邦学习的收敛速率，这种影响能否通过解析方法建模？
• RQ3 在资源受限设备的无线联邦学习中，能效、精度和准确率之间的权衡关系如何？
• RQ4 本地迭代次数如何影响能耗最小化的最优精度水平？
• RQ5 模型大小如何影响所需精度水平和量化FL中的总能耗？

主要发现

• 所提出的量化联邦学习框架相比标准32位联邦学习，总能耗最高可降低53%，尤其在大模型中表现显著。
• 对于一个138.6M参数的CNN（案例5），最优精度水平为15比特，实现了最大能耗降低。
• 随着模型大小增加，最优精度水平也提高，因为更大的模型累积了更多的量化误差，需要更高精度以维持收敛。
• 随着本地迭代次数增加，最优精度水平也提高，因为较高的迭代次数通过梯度平均降低了量化误差的影响。
• 目标准确率提升10倍（从ε=0.01提升至ε=0.001）需要额外127 J能耗和1比特精度。
• 能耗随精度水平先降低后升高，表明存在非单调权衡关系，对于所研究设置，最优点出现在n=10。