[论文解读] Reliable Federated Learning for Mobile Networks

Jiawen Kang, Zehui Xiong+4 more|arXiv (Cornell University)|Oct 14, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用 6

一句话总结

本文提出了一种在移动网络联邦学习中基于声誉的工作者选择方案，利用多权重主观逻辑模型和联盟区块链，实现防篡改、去中心化的声誉管理。该方法通过过滤不可靠或恶意的工作者，提升了学习准确率，在污染攻击下仿真结果显示，相比无保护方案，准确率最高提升7.7%。

ABSTRACT

Federated learning, as a promising machine learning approach, has emerged to leverage a distributed personalized dataset from a number of nodes, e.g., mobile devices, to improve performance while simultaneously providing privacy preservation for mobile users. In the federated learning, training data is widely distributed and maintained on the mobile devices as workers. A central aggregator updates a global model by collecting local updates from mobile devices using their local training data to train the global model in each iteration. However, unreliable data may be uploaded by the mobile devices (i.e., workers), leading to frauds in tasks of federated learning. The workers may perform unreliable updates intentionally, e.g., the data poisoning attack, or unintentionally, e.g., low-quality data caused by energy constraints or high-speed mobility. Therefore, finding out trusted and reliable workers in federated learning tasks becomes critical. In this article, the concept of reputation is introduced as a metric. Based on this metric, a reliable worker selection scheme is proposed for federated learning tasks. Consortium blockchain is leveraged as a decentralized approach for achieving efficient reputation management of the workers without repudiation and tampering. By numerical analysis, the proposed approach is demonstrated to improve the reliability of federated learning tasks in mobile networks.

研究动机与目标

• 解决移动网络联邦学习中不可靠或恶意工作者更新带来的挑战。
• 通过在训练过程中识别并排除低声誉或不可信工作者，提升模型准确率。
• 实现安全、去中心化且不可否认的移动设备工作者声誉管理。
• 设计一种综合考虑交互频率、时间线和行为历史的声誉模型，以实现公平评估。
• 在各种攻击场景和阈值下评估基于声誉的工作者选择的有效性。

提出的方法

• 提出多权重主观逻辑模型（MSL），基于历史交互、频率和时间线计算工作者声誉。
• 采用联盟区块链以防篡改且不可否认的方式存储和管理声誉值。
• 利用边缘节点（如路边单元、基站）作为预选矿工，高效维护区块链。
• 应用声誉阈值对工作者进行分类，并将低于特定可信水平的工作者排除在参与之外。
• 在声誉计算中将MSL与TSL和ATV方案进行对比，重点关注对负面事件和历史行为的敏感性。
• 通过数值仿真验证方案，采用的指标包括EMD、攻击者数量和攻击强度。

实验结果

研究问题

• RQ1 在动态移动环境下，如何有效计算工作者声誉以反映其可信度？
• RQ2 声誉阈值选择对联邦学习模型准确率和可靠性有何影响？
• RQ3 所提出的多权重主观逻辑模型与现有声誉模型相比，在检测恶意或不可靠工作者方面表现如何？
• RQ4 基于区块链的声誉管理在多大程度上可防止篡改和否认？
• RQ5 在存在基于声誉过滤的情况下，数据污染强度和攻击者数量等因素如何影响学习准确率？

主要发现

• 在低声誉阈值下，所提出的MSL方案相比ATV和TSL方案实现了更高的学习准确率，尤其在过滤因无意错误导致的工作者方面表现更优。
• 当声誉阈值超过0.45时，所有方案（MSL、TSL、ATV）性能相当，表明在高攻击强度下能有效检测恶意工作者。
• 由于MSL模型综合考虑了交互频率和时间线，对恶意工作者的声誉下降更迅速且更显著，优于ATV和TSL方案。
• 在两名攻击者情况下，当EMD=1.6且攻击强度=0.9时，学习准确率降至76.12%，相比单名攻击者场景下降7.7%。
• 缺乏声誉防御的方案即使在工作者行为恶意时，声誉仍呈线性增长，凸显了基于声誉过滤的必要性。
• ATV方案对当前负面事件更敏感，但忽略了历史良好行为，导致更高的误报率，并降低了合法工作者的参与激励。