[论文解读] Private Coded Computation for Machine Learning

Minchul Kim, Heecheol Yang+1 more|arXiv (Cornell University)|Jul 3, 2018

Stochastic Gradient Optimization Techniques参考文献 7被引用 5

一句话总结

本文提出了一种名为私有编码计算的新框架，通过确保工作者无法推断出从共享库中使用的具体数据集，从而保护主节点在分布式矩阵乘法中的隐私。该研究提出了私有多项式编码——特别是私有单次编码和私有异步多项式编码——在通信负载与计算时间之间实现平衡，且在所有测试场景中，其在至少一个指标上优于传统的鲁棒私有信息检索（RPIR）。

ABSTRACT

In a distributed computing system for the master-worker framework, an erasure code can mitigate the effects of slow workers, also called stragglers. The distributed computing system combined with coding is referred to as coded computation. We introduce a variation of coded computation that protects the master's privacy from the workers, which is referred to as private coded computation. In private coded computation, the master needs to compute a function of its own dataset and one of the datasets in a library exclusively shared by the external workers. After the master recovers the result of the desired function through coded computation, the workers should not know which dataset in the library was desired by the master, which implies that the master's privacy is protected. We propose a private coded computation scheme for matrix multiplication, namely private polynomial codes, based on polynomial codes for conventional coded computation. As special cases of private polynomial codes, we propose private one-shot polynomial codes and private asynchronous polynomial codes. Whereas the private one-shot polynomial code achieves a lower communication load from the master to each worker, the private asynchronous polynomial code achieves faster computation than private one-shot polynomial codes. In terms of computation time and communication load, we compare private one-shot polynomial codes and private asynchronous polynomial codes with a conventional robust private information retrieval scheme which can be directly applied to coded computation.

研究动机与目标

• 解决在分布式计算中因工作者可推断主节点从共享库中访问的特定数据集而导致的隐私泄露问题。
• 设计一种编码计算方案，确保工作者无法获知从库中处理的具体数据集，从而保护主节点的隐私。
• 设计高效方案，最小化通信负载与计算时间，同时保持隐私性。
• 在通信与计算性能权衡方面，将所提出的私有编码计算方案与现有基于RPIR的方法进行比较。

提出的方法

• 提出私有多项式编码，作为传统编码计算中多项式编码的隐私保护扩展。
• 使用编码函数 $ g^D_{\mathbf{A}} $ 和 $ g^D_{\mathbf{B}} $ 对主节点的数据和库中的目标数据集进行混淆。
• 引入私有单次多项式编码，主节点向每个工作者发送 $ L=1 $ 个编码数据的评估值，以最小化通信负载。
• 开发私有异步多项式编码，允许快速工作者在首次完成之后继续计算，从而减少整体计算时间。
• 采用基于组的计算模型，其中工作者并行处理子计算任务，并返回主节点可解码的结果。
• 使用MDS编码的子矩阵和多项式插值技术，使最终结果可从任意 $ k $ 个工作者中恢复，从而实现对慢速节点的容错。

实验结果

研究问题

• RQ1 编码计算能否被扩展以在从多个数据集组成的共享库中访问特定数据集时保护主节点的隐私？
• RQ2 在私有编码计算框架中，如何最小化通信负载与计算时间？
• RQ3 私有编码计算方案中，通信效率与计算速度之间的权衡关系如何？
• RQ4 私有单次编码与私有异步多项式编码相较于传统RPIR方案在性能上表现如何？

主要发现

• 私有单次多项式编码的通信负载低于RPIR，其负载最多仅为RPIR的 $ N/n $ 倍，其中 $ N $ 为工作者数量，$ n $ 为用于解码的工作者数量。
• 私有异步多项式编码通过允许快速工作者在初始完成之后继续处理，实现了比私有单次多项式编码更快的计算速度。
• 随着慢速节点效应（$ \mu $）降低，私有异步编码与RPIR之间的性能差距逐渐缩小，但在高慢速节点场景下，私有异步编码仍保持优势。
• 私有单次多项式编码在通信负载与计算时间之间存在权衡：最小化通信负载会因 $ m $ 增大而增加计算时间，从而导致 $ K = mn $ 增大。
• 在 $ \mu $ 较低的场景下，私有异步编码相对于RPIR的优势变得微不足道，但当存在显著慢速节点时，其在计算时间上仍优于RPIR。
• 当 $ L = m $ 时，私有异步多项式编码可实现与RPIR相同的通信负载（$ N|\mathbf{A}| $），但实际中 $ L $ 可显著减小，从而进一步扩大与RPIR在通信效率上的差距。