[论文解读] Outsourcing Private Machine Learning via Lightweight Secure Arithmetic Computation

Siddharth Garg, Zahra Ghodsi+4 more|arXiv (Cornell University)|Dec 4, 2018

Cryptography and Data Security参考文献 39被引用 4

一句话总结

本文提出了一种主动安全的协议，用于通过轻量级安全算术计算外包私有机器学习计算，即使在恶意服务器被攻破的情况下，也能在保护私有数据的前提下实现协作推理，并提供强大的安全保证。该协议针对具有二次激活函数的神经网络，实现了高效且可扩展的安全推理，通过真实世界疾病预测工作负载展示了其实际可行性，通信和计算开销仅比标准安全两方计算略有增加。

ABSTRACT

In several settings of practical interest, two parties seek to collaboratively perform inference on their private data using a public machine learning model. For instance, several hospitals might wish to share patient medical records for enhanced diagnostics and disease prediction, but may not be able to share data in the clear because of privacy concerns. In this work, we propose an actively secure protocol for outsourcing secure and private machine learning computations. Recent works on the problem have mainly focused on passively secure protocols, whose security holds against passive (`semi-honest') parties but may completely break down in the presence of active (`malicious') parties who can deviate from the protocol. Secure neural networks based classification algorithms can be seen as an instantiation of an arithmetic computation over integers. We showcase the efficiency of our protocol by applying it to real-world instances of arithmetized neural network computations, including a network trained to perform collaborative disease prediction.

研究动机与目标

• 为解决安全机器学习外包中的安全缺口，提供对恶意云服务器的主动安全防护，防止其偏离协议行为。
• 实现在不暴露输入或模型权重的前提下，对私有数据（如跨医院的医疗记录）进行协作推理。
• 克服以往被动安全协议的局限性，这些协议在面对主动攻击（如操纵预测结果的对抗性扰动）时会失效。
• 设计一种高效且实用的协议，用于基于具有二次激活函数的算术电路的神经网络安全推理，且对昂贵密码原原子的依赖最小化。
• 即使所有服务器均被攻破，也能保证正确性，同时只要至少有一个服务器诚实，即可维持隐私性。

提出的方法

• 协议采用两方计算（2PC）框架并结合秘密共享机制，客户端将输入拆分并分发给云服务器。
• 采用编译器将被动安全的2PC协议转换为主动安全协议，利用OLE（不经意线性评估）和承诺原原子。
• 协议包含一个看管列表机制，每个客户端监控特定服务器，以实现对传输消息的一致性检查，从而检测操纵行为。
• 通过基于承诺的协议模拟抛硬币过程，生成共享随机性，替代对可信第三方的依赖。
• 在乘法和通信阶段使用次数测试、置换/相等性检查，以检测恶意行为。
• 系统采用GMW风格的乘法协议，通过两次OLE调用安全计算共享输入的乘积。

实验结果

研究问题

• RQ1 我们能否设计一种安全机器学习外包协议，使其在所有云服务器均被主动攻击（恶意）的情况下仍能保持正确性和隐私性？
• RQ2 在不依赖可信硬件或昂贵密码原原子的前提下，如何在多服务器环境中高效地强制执行正确性和输入一致性？
• RQ3 与被动安全相比，实现主动安全在安全神经网络推理中的通信和计算开销是多少？
• RQ4 我们能否仅使用轻量级密码技术，实现对现实世界神经网络工作负载（如疾病预测）的实际效率？
• RQ5 当被攻破的服务器数量增加时，协议的安全性如何退化？何种阈值可确保系统鲁棒性？

主要发现

• 协议实现了统计安全，错误界为 (e+2)/|F|^σ + (1−e/n)^t + ((3e+2w+2t)/n)^t，确保在主动攻击下具有强大的安全保证。
• 通信复杂度主要由OLE调用和输出传输主导，总成本为 O(n·d·CC_ρ + n·d·log|F|)，其中 d 为网络深度，CC_ρ 为 OLE 成本。
• 协议支持具有二次激活函数的真实世界神经网络的安全推理，包括一个协作式疾病预测模型，证明了其实际可行性。
• 通过使用看管列表和一致性检查，能够检测恶意行为，包括可能改变预测结果的对抗性扰动。
• 即使所有服务器均被攻破，协议仍能保持正确性，同时只要至少有一个服务器诚实，即可维持隐私性。
• 系统效率足够高，可部署于医疗诊断等隐私敏感应用场景，其开销仅比标准安全计算略有增加。