[论文解读] Statistical and Computational Phase Transitions in Group Testing

Amin Coja‐Oghlan, Oliver Gebhard+3 more|arXiv (Cornell University)|Jun 15, 2022

SARS-CoV-2 detection and testing被引用 6

一句话总结

本文通过信息论与低阶多项式框架，分析了在恒定列数和伯努利两种随机池化设计下群组检测中的统计与计算相变。研究建立了检测与恢复的精确阈值，揭示了两种模型中均存在计算-统计间隙，与此前预测的伯努利设计中不存在该间隙的结论相矛盾。

ABSTRACT

We study the group testing problem where the goal is to identify a set of k infected individuals carrying a rare disease within a population of size n, based on the outcomes of pooled tests which return positive whenever there is at least one infected individual in the tested group. We consider two different simple random procedures for assigning individuals to tests: the constant-column design and Bernoulli design. Our first set of results concerns the fundamental statistical limits. For the constant-column design, we give a new information-theoretic lower bound which implies that the proportion of correctly identifiable infected individuals undergoes a sharp "all-or-nothing" phase transition when the number of tests crosses a particular threshold. For the Bernoulli design, we determine the precise number of tests required to solve the associated detection problem (where the goal is to distinguish between a group testing instance and pure noise), improving both the upper and lower bounds of Truong, Aldridge, and Scarlett (2020). For both group testing models, we also study the power of computationally efficient (polynomial-time) inference procedures. We determine the precise number of tests required for the class of low-degree polynomial algorithms to solve the detection problem. This provides evidence for an inherent computational-statistical gap in both the detection and recovery problems at small sparsity levels. Notably, our evidence is contrary to that of Iliopoulos and Zadik (2021), who predicted the absence of a computational-statistical gap in the Bernoulli design.

研究动机与目标

• 确定在恒定列数与伯努利随机池化设计下群组检测的基本统计极限。
• 研究在低稀疏度水平下检测与恢复问题中计算-统计间隙的存在性与性质。
• 利用信息论与算法技术，精确确定两种设计下弱检测与恢复所需的测试次数。
• 挑战Iliopoulos与Zadik（2021）的先前预测，即伯努利设计中不存在计算-统计间隙。
• 应用低阶多项式框架，为计算高效推断程序建立困难性结果。

提出的方法

• 推导恒定列数设计的新信息论下界，表明可识别性存在‘全或无’相变。
• 使用卡方散度与条件卡方散度分析零假设与植株模型下的假设检验。
• 应用低阶多项式框架，建立弱检测所需测试次数的下界，表明计算困难性。
• 采用条件植株分布与二阶矩方法，证明在某些测试制度下检测的不可能性。
• 利用Pinsker不等式与矩生成函数，界定植株模型与零假设下条件分布之间的KL散度。
• 通过构建植株与零假设分布之间在测试结果与个体测试发生频率上的耦合，证明弱检测的不可能性。

实验结果

研究问题

• RQ1 恒定列数群组检测设计中，弱检测的精确阈值是什么？
• RQ2 伯努利设计中弱检测需要多少次测试，该结果是否与已知上下界一致？
• RQ3 伯努利设计中是否存在计算-统计间隙，与Iliopoulos与Zadik的预测相反？
• RQ4 恒定列数设计中恢复的统计极限是什么，其是否表现出‘全或无’转变？
• RQ5 低阶多项式框架能否在两种设计下的检测与恢复问题中检测到计算障碍？

主要发现

• 在恒定列数设计中，可正确识别的感染者比例在特定测试阈值处经历急剧的‘全或无’相变。
• 在伯努利设计中，弱检测所需的确切测试次数被确定，优于Truong等人（2020）的先前上下界。
• 在低稀疏度水平下，两种设计的检测与恢复问题中均确立了计算-统计间隙。
• 低阶多项式框架表明，在某一测试阈值以下，弱检测不可能实现，为计算困难性提供了证据。
• 研究结果与Iliopoulos与Zadik（2021）的预测相矛盾，后者预测伯努利设计中不存在计算-统计间隙，而本研究证明其存在。
• 在阈值以下，植株模型与零假设模型下条件分布之间的KL散度趋于零，使得全分布可高概率耦合。