[论文解读] Verifiable Coded Computing: Towards Fast, Secure and Private Distributed Machine Learning.

Tingting Tang, Ramy E. Ali+4 more|arXiv (Cornell University)|Jul 27, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用 4

一句话总结

本文提出可验证编码计算（Verifiable Coded Computing, VCC），一种解耦框架，利用编码计算实现长尾节点缓解与数据隐私保护，同时通过可验证计算检测拜占庭式节点。与非编码方法相比，VCC 将分布式逻辑回归的训练速度提升 3.2×–6.9×，测试准确率最高提升 12.6%。

ABSTRACT

Stragglers, Byzantine workers, and data privacy are the main bottlenecks in distributed cloud computing. Several prior works proposed coded computing strategies to jointly address all three challenges. They require either a large number of workers, a significant communication cost or a significant computational complexity to tolerate malicious workers. Much of the overhead in prior schemes comes from the fact that they tightly couple coding for all three problems into a single framework. In this work, we propose Verifiable Coded Computing (VCC) framework that decouples Byzantine node detection challenge from the straggler tolerance. VCC leverages coded computing just for handling stragglers and privacy, and then uses an orthogonal approach of verifiable computing to tackle Byzantine nodes. Furthermore, VCC dynamically adapts its coding scheme to tradeoff straggler tolerance with Byzantine protection and vice-versa. We evaluate VCC on compute intensive distributed logistic regression application. Our experiments show that VCC speeds up the conventional uncoded implementation of distributed logistic regression by $3.2 imes-6.9 imes$, and also improves the test accuracy by up to $12.6\%$.

研究动机与目标

• 解决先前编码计算方案中长尾节点缓解、拜占庭容错与数据隐私紧密耦合的问题，避免带来高通信或计算开销。
• 将拜占庭节点检测与长尾节点处理解耦，以降低系统复杂度并提升效率。
• 根据工作负载需求，实现长尾节点容错与拜占庭保护之间的动态权衡。
• 通过结合编码计算与可验证计算，提升分布式机器学习的性能与准确性。
• 实现在真实世界分布式机器学习工作负载（如逻辑回归）中的实际部署，且开销最小化。

提出的方法

• 解耦编码框架：仅使用编码计算处理长尾节点缓解与数据隐私，而使用可验证计算实现拜占庭节点检测。
• 应用线性编码技术对数据与计算在各工作节点间进行编码，以容忍长尾节点并保护隐私。
• 通过密码学证明集成可验证计算，以检测并隔离恶意或拜占庭式工作节点，而无需依赖编码方案。
• 根据系统状态动态调整编码参数，以在长尾节点容错与拜占庭保护之间实现平衡。
• 采用两阶段计算模型：第一阶段，工作节点执行编码计算；第二阶段，通过正确性证明机制验证结果。
• 利用正交机制——编码用于长尾节点与隐私保护，可验证计算用于拜占庭故障检测——以降低系统整体复杂度。

实验结果

研究问题

• RQ1 将长尾节点容错与拜占庭故障检测解耦，是否能降低分布式机器学习中的系统开销？
• RQ2 可验证计算的集成如何在不增加编码复杂度的前提下提升对恶意工作节点的安全防护？
• RQ3 动态编码参数调整在多大程度上能优化长尾节点弹性与拜占庭保护之间的权衡？
• RQ4 与传统非编码分布式训练相比，VCC 在逻辑回归任务中实现了哪些性能与准确率提升？
• RQ5 VCC 是否能在确保正确性与低延迟的同时，维持真实世界分布式机器学习工作负载中的数据隐私？

主要发现

• 与传统非编码分布式逻辑回归实现相比，VCC 的训练速度提升 3.2×–6.9×。
• 与非编码基线相比，该框架将测试准确率最高提升 12.6%，表明模型鲁棒性增强。
• 通过解耦编码与验证机制，VCC 降低了先前整体式编码计算方案带来的计算与通信开销。
• 动态调整编码参数使 VCC 能够根据工作负载需求平衡长尾节点容错与拜占庭保护能力。
• 可验证计算的集成实现了对拜占庭式工作节点的可靠检测，且未影响编码计算层的效率。
• VCC 在真实世界计算密集型分布式机器学习工作负载中展现出实际可行性与显著性能提升。