[论文解读] Near optimal sparsity-constrained group testing: improved bounds and algorithms

Oliver Gebhard, Max Hahn‐Klimroth+5 more|arXiv (Cornell University)|Apr 24, 2020

SARS-CoV-2 detection and testing参考文献 41被引用 4

一句话总结

本文在实际约束条件下——每位个体最多参与 $\Delta$ 次测试或每项测试最多包含 $\Gamma$ 位个体——建立了接近最优的界限与算法。证明了在 $\Delta$-可除项目下，随机正则设计的 DD 算法具有渐近最优性，并为 $\Gamma$-大小测试设计了定制化分组方案，实现了精确阈值。进一步开发了接近最优的自适应算法，并展示了自适应与非自适应性能之间的严格差距。

ABSTRACT

Recent advances in noiseless non-adaptive group testing have led to a precise asymptotic characterization of the number of tests required for high-probability recovery in the sublinear regime $k = n^θ$ (with $θ\in (0,1)$), with $n$ individuals among which $k$ are infected. However, the required number of tests may increase substantially under real-world practical constraints, notably including bounds on the maximum number $Δ$ of tests an individual can be placed in, or the maximum number $Γ$ of individuals in a given test. While previous works have given recovery guarantees for these settings, significant gaps remain between the achievability and converse bounds. In this paper, we substantially or completely close several of the most prominent gaps. In the case of $Δ$-divisible items, we show that the definite defectives (DD) algorithm coupled with a random regular design is asymptotically optimal in dense scaling regimes, and optimal to within a factor of $\eul$ more generally; we establish this by strengthening both the best known achievability and converse bounds. In the case of $Γ$-sized tests, we provide a comprehensive analysis of the regime $Γ= Θ(1)$, and again establish a precise threshold proving the asymptotic optimality of SCOMP (a slight refinement of DD) equipped with a tailored pooling scheme. Finally, for each of these two settings, we provide near-optimal adaptive algorithms based on sequential splitting, and provably demonstrate gaps between the performance of optimal adaptive and non-adaptive algorithms.

研究动机与目标

• 填补在 $\Delta$（每位个体最多参与的测试数）和 $\Gamma$（每项测试最多包含的个体数）等实际约束下，非自适应群体测试中可实现性与反向界限之间的差距。
• 证明在 $\Delta$-可除性条件下，当 $\theta > \frac{1}{2}$ 时，DD 算法具有渐近最优性，并在所有 $\theta \in (0,1)$ 范围内达到因子 $e$ 内最优。
• 对 $\Gamma = \Theta(1)$ 的情形进行全面分析，通过定制化分组方案证明 SCOMP 的精确阈值。
• 基于序列分割设计接近最优的自适应算法，并证明自适应与非自适应性能之间的可证明差距。
• 加强可实现性与反向界限，以弥合群体测试中长期存在的约束性群体测试理论极限之间的差距。

提出的方法

• 采用随机正则设计，使得每位个体恰好出现在 $\Delta$ 次测试中，从而实现对 DD 算法性能的更紧密分析。
• 应用浓度不等式与斯特林近似，以界定正确恢复的概率，特别利用引理 VII.3 和 VII.5 对二项式系数进行估计。
• 提出一种新型随机分组方案，专为 $\Gamma$-大小测试设计，优化测试设计以匹配信息论阈值。
• 在新分组方案下分析 SCOMP 算法（DD 的改进版本），证明其在 $\Gamma = \Theta(1)$ 情形下具有渐近最优性。
• 通过序列分割开发自适应算法，动态划分群体以最小化测试次数，同时确保高概率恢复。
• 利用大偏差界限与组合估计（如引理 VII.4）推导出非自适应与自适应设置下的紧致阈值。

实验结果

研究问题

• RQ1 当每位个体最多参与 $\Delta$ 次测试时，非自适应群体测试的信息论阈值是多少？在该约束下，DD 算法是否最优？
• RQ2 当每项测试最多包含 $\Gamma$ 位个体时，群体测试的性能如何扩展，特别是在 $\Gamma = \Theta(1)$ 的情形下？
• RQ3 能否为 $\Delta$ 或 $\Gamma$ 约束下的群体测试构造接近最优的自适应算法？其测试次数与非自适应方法相比如何？
• RQ4 在稀疏性约束下，自适应与非自适应群体测试之间的根本差距是什么？能否对其进行定量表征？
• RQ5 能否建立更紧致的可实现性与反向界限，以弥合现有约束群体测试中性能极限之间的差距？

主要发现

• 对于 $\Delta$-可除项目，当 $\theta > \frac{1}{2}$ 时，采用随机正则设计的 DD 算法具有渐近最优性；在所有 $\theta \in (0,1)$ 范围内，其性能在因子 $e$ 内最优。
• 在 $\Gamma = \Theta(1)$ 的情形下，本文通过定制化分组方案建立了 SCOMP 的精确阈值，证明其在所有 $\theta \in (0,1)$ 下均具有渐近最优性。
• 作者改进了 $\Delta$-约束群体测试的现有最佳可实现性与反向界限，显著缩小了理论极限之间的差距。
• 对于 $\Delta$ 与 $\Gamma$ 约束，本文基于序列分割构造了接近最优的自适应算法，在性能上接近信息论极限。
• 研究结果表明，在广泛的尺度范围内，最优自适应与非自适应算法所需的测试次数之间存在严格且可证明的差距。
• 仿真结果验证了理论阈值，显示自适应方案收敛迅速，而非自适应 DD 表现则具有更宽的瞬态行为，与理论预测一致。