[论文解读] Parallel Algorithms for Select and Partition with Noisy Comparisons

Mark Braverman, Jieming Mao+1 more|arXiv (Cornell University)|Mar 16, 2016

Complexity and Algorithms in Graphs参考文献 2被引用 6

一句话总结

本文在噪声、擦除和无噪声比较模型下，针对选择（Select）和划分（Partition）问题提出了并行算法，实现了在总比较次数与错误次数（错误放置的元素）之间最优的权衡，适用于单轮和多轮场景。研究给出了匹配的上下界，表明在 $ dn $ 次比较下，单轮算法在三种模型中分别以高概率产生 $ O(n/d) $、$ O(n/(dackslashgamma)) $ 和 $ O(n/(dackslashgamma^2)) $ 次错误，并将结果扩展至加权误差度量。

ABSTRACT

We consider the problem of finding the $k^{th}$ highest element in a totally ordered set of $n$ elements (select), and partitioning a totally ordered set into the top $k$ and bottom $n-k$ elements (partition) using pairwise comparisons. Motivated by settings like peer grading or crowdsourcing, where multiple rounds of interaction are costly and queried comparisons may be inconsistent with the ground truth, we evaluate algorithms based both on their total runtime and the number of interactive rounds in three comparison models: noiseless (where the comparisons are correct), erasure (where comparisons are erased with probability $1-γ$), and noisy (where comparisons are correct with probability $1/2+γ/2$ and incorrect otherwise). We provide numerous matching upper and lower bounds in all three models. Even our results in the noiseless model, which is quite well-studied in the TCS literature on parallel algorithms, are novel.

研究动机与目标

• 设计在比较结果可能出错或被擦除的噪声比较模型下，高效处理选择与划分问题的并行算法。
• 分析在交互轮次代价较高的场景（如众包或同行评分）中，总运行时间（比较次数）与轮复杂度之间的权衡。
• 为单轮和多轮算法在三种比较模型（无噪声、擦除、噪声）下，建立错误数（错误放置元素）的紧致上下界。
• 将分析扩展至加权误差度量，如 $ \text{WRONG}_i \cdot |i-k|^c $ 的和，并证明相同界在常数因子内成立。
• 证明即使错误按其与真实划分阈值 $ k $ 的距离加权，所提算法与下界仍为最优。

提出的方法

• 针对三种比较模型（无噪声、擦除、噪声）分别提出基于随机化的一轮算法，使用 $ dn $ 次比较以最小化错误数。
• 通过引入辅助变量 $ p(i) $ 和 $ q(i) $ 进行概率分析，其中 $ p(i) $ 表示正确比较的次数，$ q(i) $ 表示由噪声或擦除引起的偏差。
• 应用集中不等式（马尔可夫不等式与Berry-Esseen不等式）来限制过多比较偏离期望行为的概率，从而保证高概率正确性。
• 基于观测到的比较结果 $ S $，利用条件概率来限制元素被错误分类的可能性，尤其在噪声模型中。
• 采用反浓度不等式，表明即使在最有利条件下，正确分类的概率仍与1保持有界距离，从而建立紧致的下界。
• 将结果推广至多轮算法，设计出一种两轮算法，其错误数为 $ O(n^{1/2+\varepsilon} \text{poly}(\log n)) $，以及一种三轮算法，以高概率实现零错误，且比较次数为 $ O(n \cdot \text{poly}(\log n)) $。

实验结果

研究问题

• RQ1 在噪声比较下，单轮算法在划分问题中，比较次数与错误数之间的最优权衡是什么？
• RQ2 在擦除与噪声模型中，错误率 $ \gamma $ 如何影响单轮算法的错误数？
• RQ3 是否可以使用相同的算法框架，在三种比较模型（无噪声、擦除、噪声）下均实现匹配的上下界？
• RQ4 加权误差度量（如 $ \sum \text{WRONG}_i \cdot |i-k|^c $）如何影响边界的最优性？
• RQ5 多轮算法能否在最小化总比较次数与轮数的同时，以高概率实现零错误？

主要发现

• 在无噪声模型中，使用 $ dn $ 次比较的单轮算法以高概率产生 $ O(n/d) $ 次错误，且该界在常数因子内紧致。
• 在擦除模型中，单轮算法以高概率产生 $ O(n/(d\gamma)) $ 次错误，且该界渐近最优。
• 在噪声模型中，单轮算法以高概率产生 $ O(n/(d\gamma^2)) $ 次错误，且该界同样紧致。
• 所有单轮算法均达到匹配的下界：任何使用 $ dn $ 次比较的算法，在三种模型中分别必须以期望至少 $ \Omega(n/d) $、$ \Omega(n/(d\gamma)) $ 和 $ \Omega(n/(d\gamma^2)) $ 次错误。
• 相同算法与下界可扩展至加权误差度量，如 $ \sum \text{WRONG}_i \cdot |i-k|^c $，对任意 $ c \geq 0 $ 均成立。
• 对于多轮算法，使用 $ n/\varepsilon $ 次比较的两轮算法以高概率产生 $ O(n^{1/2+\varepsilon} \text{poly}(\log n)) $ 次错误；三轮算法使用 $ O(n \cdot \text{poly}(\log n)) $ 次比较，以高概率实现零错误。