[论文解读] ResSFL: A Resistance Transfer Framework for Defending Model Inversion Attack in Split Federated Learning

Jingtao Li, Adnan Siraj Rakin+4 more|arXiv (Cornell University)|May 9, 2022

Geophysical Methods and Applications被引用 6

一句话总结

ResSFL 是一种两步抗性迁移框架，通过在专家设备上训练抗模型逆向（MI）攻击的特征提取器，并将其迁移至客户端，从而在分割联邦学习（SFL）中防御模型逆向攻击。在使用 VGG-11 的 CIFAR-100 上，其重建均方误差（MSE）为 0.050（基线为 0.005），仅造成 1% 的准确率下降，同时通过轻量级微调显著降低了客户端计算开销。

ABSTRACT

This work aims to tackle Model Inversion (MI) attack on Split Federated Learning (SFL). SFL is a recent distributed training scheme where multiple clients send intermediate activations (i.e., feature map), instead of raw data, to a central server. While such a scheme helps reduce the computational load at the client end, it opens itself to reconstruction of raw data from intermediate activation by the server. Existing works on protecting SFL only consider inference and do not handle attacks during training. So we propose ResSFL, a Split Federated Learning Framework that is designed to be MI-resistant during training. It is based on deriving a resistant feature extractor via attacker-aware training, and using this extractor to initialize the client-side model prior to standard SFL training. Such a method helps in reducing the computational complexity due to use of strong inversion model in client-side adversarial training as well as vulnerability of attacks launched in early training epochs. On CIFAR-100 dataset, our proposed framework successfully mitigates MI attack on a VGG-11 model with a high reconstruction Mean-Square-Error of 0.050 compared to 0.005 obtained by the baseline system. The framework achieves 67.5% accuracy (only 1% accuracy drop) with very low computation overhead. Code is released at: https://github.com/zlijingtao/ResSFL.

研究动机与目标

• 为解决现有防御方法无法缓解的分割联邦学习（SFL）在训练过程中对模型逆向（MI）攻击的脆弱性。
• 在保持强抗MI攻击能力的同时，减轻客户端的计算负担。
• 通过将预训练专家模型的抗性迁移至客户端模型，克服MI防御在训练初期的脆弱性。
• 在不牺牲模型准确率或引入过多浮点运算量（FLOPs）的前提下，实现在SFL中的有效MI防御。
• 在SFL的不同网络架构和剪切层配置下实现防御的泛化能力。

提出的方法

• 在专家设备上采用攻击者感知训练，训练一个强效逆向模型以模仿对中间激活值的MI攻击行为。
• 在逆向模型中引入瓶颈层，以减小特征空间，增强对重建的抵抗能力。
• 从该攻击者感知训练中提取出抗性特征提取器，并用于初始化客户端模型，随后进行标准SFL训练。
• 客户端通过轻量级微调使用迁移得到的抗性，降低计算成本，同时保持MI抗性。
• 抗性迁移机制确保了早期训练阶段受到保护，缓解了模型收敛过程中数据泄露的风险。
• 该方法在多种架构（VGG、ResNet、MobileNet）和剪切层设置下进行了评估，证明了其泛化性与可扩展性。

(a) Training process of SFL

实验结果

研究问题

• RQ1 结合专家驱动的攻击者感知训练与抗性迁移的两步框架，能否在SFL训练期间有效防御MI攻击？
• RQ2 在逆向模型中使用瓶颈层，如何影响MI抗性与模型准确率之间的权衡？
• RQ3 抗性迁移在多大程度上减少了客户端的计算开销，同时保持对MI攻击的强防御能力？
• RQ4 该框架在SFL中不同神经网络架构和剪切层配置下的表现如何？
• RQ5 抗性迁移机制对SFL中早期训练脆弱性的影响是什么？

主要发现

• 在使用 VGG-11 和剪切层 2 的 CIFAR-100 上，ResSFL 实现了 0.050 的模型逆向重建均方误差（MSE），而基线为 0.005，表明对数据重建具有强抵抗能力。
• 尽管具备高抗性，模型仍保持 67.5% 的准确率，仅比基线的 68.5% 准确率下降 1%。
• 与标准SFL相比，该框架将客户端FLOPs降低了27%，参数量减少了20%，且仅消耗全FL 0.17%的FLOPs。
• 迁移学习实现了有效的抗性迁移，保护了模型在训练初期最脆弱的阶段免受攻击。
• 在剪切层2的MobileNet-V2上，实现了高抗性与极低FLOPs（3.7M），展示了跨架构的高效性与可扩展性。
• 在多种拓扑结构中，提高剪切层通常能同时提升准确率与抗性，其中MobileNet-V2在抗性与效率方面表现尤为优越。

(b) Server perform MI attack