[论文解读] Privacy-Preserving Distributed Learning in the Analog Domain

Mahdi Soleymani, Hessam Mahdavifar+1 more|arXiv (Cornell University)|Jul 17, 2020

Cryptography and Data Security被引用 11

一句话总结

本文提出了一种新颖的隐私保护分布式学习框架，适用于模拟域中的实值与复值数据，采用Shamir秘密共享的模拟对应物以避免量化引起的精度损失。它在连续域中建立了区分安全性和互信息安全性之间的理论联系，并在MNIST数据集上通过浮点实现，展示了相较于定点有限域方法在精度和效率上的优越性。

ABSTRACT

We consider the critical problem of distributed learning over data while keeping it private from the computational servers. The state-of-the-art approaches to this problem rely on quantizing the data into a finite field, so that the cryptographic approaches for secure multiparty computing can then be employed. These approaches, however, can result in substantial accuracy losses due to fixed-point representation of the data and computation overflows. To address these critical issues, we propose a novel algorithm to solve the problem when data is in the analog domain, e.g., the field of real/complex numbers. We characterize the privacy of the data from both information-theoretic and cryptographic perspectives, while establishing a connection between the two notions in the analog domain. More specifically, the well-known connection between the distinguishing security (DS) and the mutual information security (MIS) metrics is extended from the discrete domain to the continues domain. This is then utilized to bound the amount of information about the data leaked to the servers in our protocol, in terms of the DS metric, using well-known results on the capacity of single-input multiple-output (SIMO) channel with correlated noise. It is shown how the proposed framework can be adopted to do computation tasks when data is represented using floating-point numbers. We then show that this leads to a fundamental trade-off between the privacy level of data and accuracy of the result. As an application, we also show how to train a machine learning model while keeping the data as well as the trained model private. Then numerical results are shown for experiments on the MNIST dataset. Furthermore, experimental advantages are shown comparing to fixed-point implementations over finite fields.

研究动机与目标

• 为解决分布式学习系统中数据天然以实值/复值（模拟）形式存在的数据隐私保护这一关键挑战。
• 克服将实值数据量化为有限域以实现密码学安全时导致的精度下降问题。
• 开发一种基于秘密共享原理、面向模拟数据的分布式计算信息论安全框架。
• 利用信息论和密码学度量方法，表征模拟域中的隐私保障。
• 在真实学习任务中，展示浮点实现相较于定点实现的可行性与优势。

提出的方法

• 提出一种模拟域秘密共享方案，作为有限域上Shamir秘密共享的连续对应物。
• 利用单输入多输出（SIMO）信道中的相关噪声来限制信息泄露，并以区分安全性（DS）定义隐私。
• 将已知的区分安全性（DS）与互信息安全性（MIS）之间的联系从离散域扩展至连续域。
• 采用浮点数算术进行计算，以保持数值保真度，并避免定点方案中常见的溢出问题。
• 设计一种分布式学习协议，其中数据通过模拟份额编码，分布式并行处理，最终结果在不泄露单个份额的情况下重建。
• 将该框架适配用于训练机器学习模型——具体为MNIST上的逻辑回归模型——同时保护数据和模型隐私。

实验结果

研究问题

• RQ1 能否在模拟域（即实数/复数上）构建一种安全的秘密共享方案，以在分布式学习中保护数据隐私？
• RQ2 如何在连续域中合理扩展并关联区分安全性（DS）和互信息安全性（MIS）等隐私度量？
• RQ3 模拟域分布式学习中，隐私级别与计算精度之间的基本权衡是什么？
• RQ4 在精度和效率方面，浮点实现相较于定点有限域方案表现如何？
• RQ5 所提出的协议能否有效应用于训练机器学习模型，而不会损害数据或模型隐私？

主要发现

• 所提出的模拟秘密共享方案在连续域中实现了信息论级别的隐私保障，其信息泄露通过SIMO信道容量结果得到约束。
• 本文在模拟域中建立了区分安全性（DS）与互信息安全性（MIS）之间的理论等价性，扩展了已知的离散域结果。
• 协议的浮点实现保持了高精度，MNIST逻辑回归预测结果与集中式基线模型高度一致。
• 该协议在精度和运行时间上均优于定点有限域实现，尤其在数据集规模增大时优势更明显，原因在于避免了溢出和回绕错误。
• 该方案保持了编码计算的通信效率，避免了MPC方法中常见的多方通信开销。
• 该方法对数据集规模增大具有鲁棒性，在大规模训练中仍保持极低的精度损失，而定点替代方案则因溢出导致精度显著下降。