[论文解读] Private Multi-Task Learning: Formulation and Applications to Federated Learning

Shengyuan Hu, Zhiwei Steven Wu+1 more|arXiv (Cornell University)|Aug 30, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 4

一句话总结

该论文提出了一种新型框架——私有均值正则化多任务学习（PMTL），通过公告牌隐私（BP）实现联邦学习中的客户端级隐私保护，确保每个客户端的数据保持私密，同时允许个性化模型依赖于其自身数据。在FEMNIST、CelebA和StackOverflow基准测试中，该方法在强隐私约束下，相较于全局基线模型，实现了更优的隐私-效用权衡，优于私有全局模型和本地训练。

ABSTRACT

Many problems in machine learning rely on multi-task learning (MTL), in which the goal is to solve multiple related machine learning tasks simultaneously. MTL is particularly relevant for privacy-sensitive applications in areas such as healthcare, finance, and IoT computing, where sensitive data from multiple, varied sources are shared for the purpose of learning. In this work, we formalize notions of client-level privacy for MTL via joint differential privacy (JDP), a relaxation of differential privacy for mechanism design and distributed optimization. We then propose an algorithm for mean-regularized MTL, an objective commonly used for applications in personalized federated learning, subject to JDP. We analyze our objective and solver, providing certifiable guarantees on both privacy and utility. Empirically, we find that our method provides improved privacy/utility trade-offs relative to global baselines across common federated learning benchmarks.

研究动机与目标

• 解决医疗、金融和物联网等隐私敏感领域中多任务学习（MTL）缺乏正式隐私保障的问题。
• 通过公告牌隐私（BP）形式化客户端级隐私，BP是差分隐私的一种松弛形式，允许特定任务模型依赖于其自身数据。
• 开发一种可扩展、通信高效的均值正则化MTL求解器，提供可认证的$(\epsilon,\delta)$-公告牌隐私保证。
• 在标准联邦学习基准中，实证评估所提方法与全局基线及本地训练的隐私-效用权衡。
• 证明私有MTL可在保留MTL准确率优势的同时，提供强于训练单一全局模型的隐私保护。

提出的方法

• 提出私有均值正则化MTL框架，通过均值正则化项联合优化全局模型与客户端特定模型，以促进不同任务间的相似性。
• 应用公告牌隐私（BP）确保除一个任务外，所有任务的输出模型对任一客户端数据的更改均不敏感，从而实现客户端级隐私。
• 采用基于FedAvg的通信高效求解器，经适配以处理具有差分隐私保证的均值正则化MTL目标。
• 对凸与非凸目标进行收敛性分析，扩展至部分客户端参与的设置。
• 在全局模型更新步骤中引入噪声以满足$(\epsilon,\delta)$-公告牌隐私，通过噪声尺度控制隐私预算。
• 通过微调实现模型个性化，且在BP框架下不产生额外隐私成本。

实验结果

研究问题

• RQ1 能否在保留模型效用的前提下，实现多任务学习的客户端级隐私保护？
• RQ2 如何正式将公告牌隐私应用于均值正则化MTL，以确保客户端数据得到保护？
• RQ3 与私有全局模型相比，私有MTL在隐私（以$\epsilon$衡量）与效用（以测试准确率衡量）之间的权衡如何？
• RQ4 在强隐私约束下，私有MTL是否在联邦学习基准中优于本地训练和私有全局基线？
• RQ5 与个性化联邦学习中的PP-SGD等现有方法相比，所提方法能否实现更优的隐私-效用权衡？

主要发现

• 在FEMNIST基准上，PMTL在$\epsilon = 2.0$下达到0.681的测试准确率，显著优于私有FedAvg和FedProx。
• 在CelebA上，PMTL在$\epsilon = 2.0$时达到0.818的测试准确率，超越了私有全局模型和本地训练。
• 在StackOverflow上，PMTL在$\epsilon = 0.1$时达到0.324的测试准确率，优于私有FedAvg和FedProx（均低于0.31）。
• 当$\epsilon < 1$时，PP-SGD的隐私-效用权衡劣于PMTL，表明PMTL具有更高的隐私效率。
• 即使在强隐私约束（$\epsilon = 0.1$）下，经过微调的PMTL在非凸问题（如FEMNIST和CelebA）中仍持续优于纯本地训练。
• 收敛性分析表明，该求解器在凸与非凸设置下均保持收敛性保证，即使在部分客户端参与的情况下亦成立。