[论文解读] Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning

Sihun Baek, Jihong Park+4 more|arXiv (Cornell University)|Jul 1, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种新颖的视觉变换器（ViT）分割学习框架 CutMixSL，通过引入随机掩码和压缩的隐藏表征（即 CutSmashed 数据），在提升准确率、通信效率和数据隐私保护方面取得显著成效。该方法在分割学习过程中采用类似 CutMix 的数据增强策略，使上传负载减少 20–50%，隐私泄露降低约 8 倍，同时相比基线模型，top-1 准确率最高提升 18.5%。

ABSTRACT

This article seeks for a distributed learning solution for the visual transformer (ViT) architectures. Compared to convolutional neural network (CNN) architectures, ViTs often have larger model sizes, and are computationally expensive, making federated learning (FL) ill-suited. Split learning (SL) can detour this problem by splitting a model and communicating the hidden representations at the split-layer, also known as smashed data. Notwithstanding, the smashed data of ViT are as large as and as similar as the input data, negating the communication efficiency of SL while violating data privacy. To resolve these issues, we propose a new form of CutSmashed data by randomly punching and compressing the original smashed data. Leveraging this, we develop a novel SL framework for ViT, coined CutMixSL, communicating CutSmashed data. CutMixSL not only reduces communication costs and privacy leakage, but also inherently involves the CutMix data augmentation, improving accuracy and scalability. Simulations corroborate that CutMixSL outperforms baselines such as parallelized SL and SplitFed that integrates FL with SL.

研究动机与目标

• 为解决视觉变换器（ViT）在分割学习中因大尺寸、非结构化的 smashed 数据（与输入图像类似）导致的高通信成本和隐私泄露问题。
• 克服现有分割学习与联邦学习在处理大尺寸 ViT 模型时因模型规模和通信开销带来的局限性。
• 通过将数据增强整合到分割学习流程中，提升分布式 ViT 训练的可扩展性和准确率。
• 开发一种隐私保护机制，在不共享原始数据的前提下，减少基于重建的隐私泄露风险。

提出的方法

• 客户端在分割层对隐藏表征（即 smashed 数据）应用互斥的随机掩码，利用共享的伪随机序列生成器生成 CutSmashed 数据。
• 服务器聚合来自多个客户端的掩码 CutSmashed 数据，形成 CutMix 数据，用于前向传播与反向传播。
• 共享的伪随机序列确保客户端与服务器之间掩码的互斥性，同时不暴露原始数据。
• 该方法将 Patch CutMix 数据增强集成到分割学习流程中，提升模型泛化能力与归纳偏置。
• 客户端仅上传非零掩码块，从而减少通信负载并限制信息泄露。
• 该框架通过避免并行分割学习中常见的更新不平衡问题，支持良好的可扩展性。

实验结果

研究问题

• RQ1 CutSmashed 数据是否能在保持模型准确率的前提下，降低基于 ViT 的分割学习中的通信开销？
• RQ2 在隐私泄露与通信效率方面，CutMixSL 相较于并行分割学习与 SplitFed 的表现如何？
• RQ3 将 CutMix 风格的数据增强整合到分割学习中，对 ViT 性能的提升程度如何？
• RQ4 在 CutSmashed 表征中使用掩码与打乱的数据，是否能降低重建攻击的风险？
• RQ5 随着客户端数量增加，CutMixSL 是否能有效扩展且不出现性能下降？

主要发现

• 与基线并行分割学习相比，CutMixSL 在不同掩码比率与分组大小下，通信负载减少 20–50%。
• 与标准 smashed 数据相比，该框架通过重建均方误差（MSE）衡量，隐私泄露降低约 8 倍。
• 与基线分割学习相比，top-1 准确率最高提升 18.5%，其中 CutMixSFL 在 10 个客户端时达到 80.97% 的准确率。
• CutMixSL 展现出优越的可扩展性，在 10 个客户端时性能提升达 12.9%，优于并行 SL 与 SplitFed。
• 打乱的 CutMix 掩码显著增强隐私保护，相比标准 CutMix，重建损失提高 3 倍。
• 该方法有效缓解了分割学习中的更新不平衡问题，使更多客户端参与时仍能保持一致的性能增益。