[论文解读] Parity Models: A General Framework for Coding-Based Resilience in ML Inference

Jack Kosaian, K. V. Rashmi+1 more|arXiv (Cornell University)|May 2, 2019

Machine Learning and Data Classification参考文献 84被引用 11

一句话总结

ParM 提出了一种通用框架，利用基于神经网络的奇偶校验模型，在机器学习推理系统中实现基于编码的容错能力，从而在出现性能下降或故障时能够快速重建不可用的预测结果。与资源相当的其他方法相比，ParM 将尾部延迟降低了最多 3.5 倍，同时相比复制机制，资源开销减少了 2–4 倍。

ABSTRACT

Machine learning models are becoming the primary workhorses for many applications. Production services deploy models through prediction serving systems that take in queries and return predictions by performing inference on machine learning models. In order to scale to high query rates, prediction serving systems are run on many machines in cluster settings, and thus are prone to slowdowns and failures that inflate tail latency and cause violations of strict latency targets. Current approaches to reducing tail latency are inadequate for the latency targets of prediction serving, incur high resource overhead, or are inapplicable to the computations performed during inference. We present ParM, a novel, general framework for making use of ideas from erasure coding and machine learning to achieve low-latency, resource-efficient resilience to slowdowns and failures in prediction serving systems. ParM encodes multiple queries together into a single parity query and performs inference on the parity query using a parity model. A decoder uses the output of a parity model to reconstruct approximations of unavailable predictions. ParM uses neural networks to learn parity models that enable simple, fast encoders and decoders to reconstruct unavailable predictions for a variety of inference tasks such as image classification, speech recognition, and object localization. We build ParM atop an open-source prediction serving system and through extensive evaluation show that ParM improves overall accuracy in the face of unavailability with low latency while using 2-4$ imes$ less additional resources than replication-based approaches. ParM reduces the gap between 99.9th percentile and median latency by up to $3.5 imes$ compared to approaches that use an equal amount of resources, while maintaining the same median.

研究动机与目标

• 解决由于分布式集群中出现性能下降或故障，导致生产环境预测服务系统中尾部延迟过高的挑战。
• 克服现有方法的局限性——如复制机制（资源成本过高）和非无感的编码计算方法（存在延迟开销或不适用于推理）。
• 设计一种通用框架，为包括图像分类、语音识别和目标定位在内的多种机器学习推理任务，提供低延迟、资源高效的容错能力。
• 引入奇偶校验模型作为新型组件，实现对查询的快速、任务特定的编码与解码，以支持容错推理。
• 实现对不可用原因无感的容错能力，同时在故障或性能下降期间保持高预测准确性。

提出的方法

• 使用可学习的编码器将多个输入查询编码为单个奇偶校验查询，实现在奇偶校验模型上的联合推理。
• 训练基于神经网络的奇偶校验模型，使其将奇偶校验查询映射到一种表示形式，从而支持对单个预测结果的重建。
• 使用解码器网络从奇偶校验模型的输出中重建不可用预测结果的近似值。
• 设计针对特定任务的编码器和解码器（例如，图像分类采用拼接方式），以优化性能并减少带宽开销。
• 将 ParM 集成到一个开源预测服务系统中，以评估其在真实场景下的性能和延迟特性。
• 借鉴分块编码原理——任意 k 个来自 (k+r) 个单元的组合即可重建原始数据——并将其适配到推理工作负载，通过学习模型实现。

实验结果

研究问题

• RQ1 能否设计一种通用框架，在机器学习推理系统中实现低延迟且资源高效的基于编码的容错能力？
• RQ2 如何利用神经网络学习奇偶校验模型，以在性能下降或故障期间实现快速、准确的预测重建？
• RQ3 与复制机制及其他编码计算方法相比，ParM 在资源消耗更少的前提下，能在多大程度上降低尾部延迟？
• RQ4 ParM 在包括图像分类、语音识别和目标定位在内的多样化推理任务中表现如何？
• RQ5 ParM 是否能在不主动降低预测准确性的前提下，显著缩小中位延迟与 99.9 百分位延迟之间的差距，同时保持中位延迟不变？

主要发现

• 与资源相当的其他方法相比，ParM 将 99.9 百分位延迟与中位延迟之间的差距缩小了最多 3.5 倍，同时保持了相同的中位延迟。
• 为实现相似的容错能力，ParM 所需的额外资源开销仅为基于复制机制方法的 2–4 倍。
• 该框架通过实现对失败或慢速预测的快速重建，提升了在不可用情况下的整体预测准确性。
• 与图像拼接等方法（如 Narra et al. 2019）相比，ParM 的网络带宽开销仅为 1/k（k 个查询），而后者为 k 倍开销。
• ParM 的学习型编码器和解码器可在无故障发生时避免引入延迟，实现快速、低延迟的重建。
• 该框架具有良好的通用性，适用于包括图像分类、语音识别和目标定位在内的多样化推理任务，并通过任务特定优化实现性能提升。