[论文解读] Private Machine Learning in TensorFlow using Secure Computation

Morten Dahl, Jason Mancuso+6 more|arXiv (Cornell University)|Oct 18, 2018

Cryptography and Data Security参考文献 4被引用 49

一句话总结

本文推出 tf-encrypted，一个开源框架，将基于 SPDZ 的安全多方计算整合到 TensorFlow 中，使通过 TensorFlow 图进行私有 ML，并在 MNIST 上给出基准测试。

ABSTRACT

We present a framework for experimenting with secure multi-party computation directly in TensorFlow. By doing so we benefit from several properties valuable to both researchers and practitioners, including tight integration with ordinary machine learning processes, existing optimizations for distributed computation in TensorFlow, high-level abstractions for expressing complex algorithms and protocols, and an expanded set of familiar tooling. We give an open source implementation of a state-of-the-art protocol and report on concrete benchmarks using typical models from private machine learning.

研究动机与目标

• 引入 tf-encrypted，使其成为在 TensorFlow 内实现私有机器学习的易于使用的平台。
• 展示将安全计算协议与 TensorFlow 图集成，以实现私有推断和训练工作流。
• 提供基准测试，展示在常见任务上私有机器学习模型的性能和精度权衡。

提出的方法

• 将安全多方计算（SPDZ 风格）嵌入 TensorFlow，作为屏蔽和私有张量。
• 对浮点数使用定点编码，并支持 int64 和基于 CRT 的 int100 张量以实现精度控制。
• 通过遮罩实现安全乘法和其他运算，采用三服务器协议，并将数据固定在特定设备上。
• 利用 TensorFlow 的分布式执行和图优化，降低网络开销并提升性能。

实验结果

研究问题

• RQ1 在不牺牲模型可用性或性能的前提下，能否将安全计算协议有效地集成到 TensorFlow 中？
• RQ2 在基于 TensorFlow 的框架内对标准机器学习模型执行私有推断时，会有哪些性能和精度上的权衡？
• RQ3 精度选择（int64 与 int100）如何影响私有机器学习工作负载的精度和运行时间？
• RQ4 一个通用平台是否能够促进对各种安全计算优化与协议在私有机器学习中的试验？

主要发现

网络	运行时平均值	运行时偏差	精度 (int64)	精度 (int100)	KL 发散 (int64)	KL 发散 (int100)
A	14ms	138ms	97.35%	97.18%	0.0065	0.0064
B	126ms	189ms	99.26%	99.00%	0.2086	0.0311
C	124ms	211ms	99.44%	99.41%	0.2311	0.1045

• tf-encrypted 使 TensorFlow 能进行私有推断，模型和输入保持在分离的各方。
• 基于 SPDZ 的协议，针对张量运算和三服务器设置进行了调整，实现了适用于在 MNIST 规模网络上实际使用的可测量运行时间。
• int64 和 int100 的定点表示在精度上结果相似，int100 提供更高的精度，但有额外的运行时成本。
• 不同体系结构的网络在批量大小变化时呈现次线性扩展，凸显了延迟与吞吐之间的权衡。
• 与明文 TensorFlow 相比，私有推断会产生运行时开销，但保持接近的精度和可接受的 KL 发散。
• 该框架证明了将私有机器学习与标准 TensorFlow 工具（包括用于调试和分析的 TensorBoard）相结合的可行性。