[论文解读] Non-adaptive probabilistic group testing with noisy measurements: Near-optimal bounds with efficient algorithms

Chun Lam Chan, Pak Hou+2 more|arXiv (Cornell University)|Jul 22, 2011

SARS-CoV-2 detection and testing参考文献 15被引用 4

一句话总结

本文提出了在存在噪声测量的情况下，用于识别缺陷项的计算高效、非自适应群组测试算法。它建立了紧致的信息论下界，并提供了查询复杂度的显式上界，表明所需测试数的量级为 $\beta^* \approx \frac{4.36(\sqrt{\delta} + \sqrt{1+\delta})^2}{(1-2q)^2}$，在无噪声和有噪声情况下均与下界相差一个常数因子。

ABSTRACT

We consider the problem of detecting a small subset of defective items from a large set via non-adaptive "random pooling" group tests. We consider both the case when the measurements are noiseless, and the case when the measurements are noisy (the outcome of each group test may be independently faulty with probability q). Order-optimal results for these scenarios are known in the literature. We give information-theoretic lower bounds on the query complexity of these problems, and provide corresponding computationally efficient algorithms that match the lower bounds up to a constant factor. To the best of our knowledge this work is the first to explicitly estimate such a constant that characterizes the gap between the upper and lower bounds for these problems.

研究动机与目标

• 弥合已知的阶次最优边界与非自适应群组测试中查询复杂度显式常数之间的差距，尤其是在存在噪声测量的情况下。
• 开发计算高效的算法，使其在所需测试数量上接近最优性能。
• 提供表征所需测试数量的常数因子 $\beta(q,\delta)$ 的显式、紧致上界和下界，且独立于 $n$ 和 $d$。
• 分析在噪声条件下组合基追踪（Combinatorial Basis Pursuit, CBP）和组合正交匹配追踪（COMP）的性能，并提供显式的误码概率保证。
• 通过仿真验证理论边界，展示理论与实践之间具有极强的一致性。

提出的方法

• 提出两种算法：组合基追踪（CBP）和组合正交匹配追踪（COMP），并将其适配于噪声群组测试。
• 采用概率群组测试与随机池化，其中每个项目以概率 $p = \alpha/d$ 独立地包含在测试中。
• 使用切尔诺夫不等式和集中不等式分析假阴性和假阳性错误的概率。
• 通过优化 $\alpha$ 和阈值 $\Delta$ 来平衡假阳性与假阴性率，推导出查询复杂度 $T = \beta \cdot d \log n$ 的显式上界。
• 利用法诺不等式和互信息论证，建立 $\beta(q,\delta)$ 的信息论下界。
• 优化阈值 $\Delta^*$ 和参数 $\alpha$ 以最小化 $\beta^*$，从而得到最优常数的闭式表达式。

实验结果

研究问题

• RQ1 在固定错误概率 $\delta$ 的条件下，非自适应群组测试中存在噪声时，识别大小为 $n$ 的集合中的 $d$ 个缺陷项所需的最少测试数是多少？
• RQ2 计算高效的算法能否在存在噪声测量的情况下实现接近信息论下界的查询复杂度？
• RQ3 表征噪声群组测试中查询复杂度上下界之间差距的显式常数因子 $\beta(q,\delta)$ 是什么？
• RQ4 在 COMP 算法中，随着阈值 $\Delta$ 的变化，假阳性与假阴性错误概率如何权衡？
• RQ5 能否推导出与仿真结果一致且独立于 $n$ 和 $d$ 的 $\beta^*$ 理论边界？

主要发现

• 本文推导出查询复杂度常数 $\beta^*$ 的显式上界为 $\beta^* \approx \frac{4.36(\sqrt{\delta} + \sqrt{1+\delta})^2}{(1-2q)^2}$，其与信息论下界相差一个常数因子。
• 噪声 COMP 算法的最优阈值 $\Delta^*$ 推导为 $\Delta^* = \frac{e^{-\alpha}(1-2q)}{q(1+\gamma^{-1/2})}$，当 $\alpha = 0.5$ 时使 $\beta^*$ 最小化。
• 分析表明，当 $\Delta^*$ 被选择为最小化两个错误边界的最大值时，假阳性和假阴性错误概率达到平衡。
• 仿真结果证实，理论边界与实际性能高度一致，验证了推导表达式的紧致性。
• 所推导的边界在渐近意义上独立于 $n$ 和 $d$，常数 $\beta^*$ 仅依赖于 $q$ 和 $\delta$。
• 本工作表明，常数因子 $\beta(q,\delta)$ 远离零，且当 $q \to 0.5$ 时增大，反映了在高噪声环境下识别难度的提升。