[论文解读] Straggler-Aware Coded Polynomial Aggregation

Xi Zhong, Jörg Kliewer+1 more|arXiv (Cornell University)|Feb 3, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

本文将编码多项式聚合（CPA）扩展到具有预定义非阻塞模式的等待系统，导出精确恢复的必要充分条件以及保证可行性的交集大小阈值。

ABSTRACT

Coded polynomial aggregation (CPA) in distributed computing systems enables the master to directly recover a weighted aggregation of polynomial computations without individually decoding each term, thereby reducing the number of required worker responses. However, existing CPA schemes are restricted to an idealized setting in which the system cannot tolerate stragglers. In this paper, we extend CPA to straggler-aware distributed computing systems with a pre-specified non-straggler pattern, where exact recovery is required for a given collection of admissible non-straggler sets. Our main results show that exact recovery of the desired aggregation is achievable with fewer worker responses than that required by polynomial codes based on individual decoding, and that feasibility is characterized by the intersection structure of the non-straggler patterns. In particular, we establish necessary and sufficient conditions for exact recovery in straggler-aware CPA. We identify an intersection-size threshold that is sufficient to guarantee exact recovery. When the number of admissible non-straggler sets is sufficiently large, we further show that this threshold is necessary in a generic sense. We also provide an explicit construction of feasible CPA schemes whenever the intersection size exceeds the derived threshold. Finally, simulations verify our theoretical results by demonstrating a sharp feasibility transition at the predicted intersection threshold.

研究动机与目标

• 通过聚合多项式计算来降低解码负载，而非逐个恢复每一项的动机。
• 通过对预定义的非阻塞模式集合强制精确恢复，将 CPA 扩展到具有阻塞的系统。
• 通过非阻塞模式的交集结构来表征可行性并推导阈值界限。
• 提供显式方案构造并对可行性转变进行经验验证。

提出的方法

• 在预指定的非阻塞模式下对 CPA 进行建模，包含 K 个数据矩阵和一个次数为 d 的多项式函数。
• 通过一个插值多项式 E(z) 对数据进行编码，并将 E(βn) 分发给 N 个工作节点。
• 通过从 N−S 个非阻塞节点的响应中构造解码多项式 D(z) 并在 αk 处求值以获得加权和。
• 推导保证零恢复误差的正交性条件：对于在定义范围内的 j 和所有 g，满足 ∑k wk Pg(αk) αk^j = 0，其中 Pg(z) 取决于非阻塞集合。
• 证明非阻塞集合的交集 I 对可行性的支配作用，通过对 PI(z) = ∏n∈I (z−βn) 的简化问题来分析。
• 在交集大小 I 超过一个 I* 阈值时，给出显式构造。

实验结果

研究问题

• RQ1 在预指定的非阻塞模式下实现对加权聚合的精确恢复，哪些条件是精确且必要的？
• RQ2 非阻塞集合的交集大小 I 如何影响可行性，阈值 I* 的作用是什么？
• RQ3 我们是否可以构造满足正交性条件的显式 CPA 方案以适用于可行的非阻塞模式？
• RQ4 相比任意阻塞情况下的传统 CPA 和多项式码，所提出的带阻塞感知的 CPA 结果有何差异？
• RQ5 仿真是否在交集阈值处呈现出显著的可行性转变？

主要发现

• 若编码点和评估点满足正交性条件，且对所有非阻塞集合 g，∑k wk Pg(αk) αk^j = 0，且 j 的取值在 [C] 范围内，则一个 CPA 方案在预设的非阻塞模式下是可行的。
• 存在一个充足的交集大小阈值 I*（依赖于 K 与 d），若 I ≥ I*，则通过适当选择评估点可确保可行性。
• 当可允许的非阻塞集合数量较大时，阈值 I* 通常也成为必要条件。
• 对 I ≥ I*，给出评估点的显式构造，借鉴先前的算法并将其适用于带阻塞感知的设置，以确保可行性。
• 仿真显示在预测的交集阈值处出现明显的可行性转变，验证理论结果。