[论文解读] On Correlation Detection and Alignment Recovery of Gaussian Databases

Ran Tamir|arXiv (Cornell University)|Nov 2, 2022

Data Quality and Management被引用 5

一句话总结

该论文提出了一种两阶段算法，用于在未知行排列下对高斯数据库中的联合相关性检测与部分对齐恢复。该方法引入了一种新颖的图论方法，通过分析相关指示统计量的k阶矩来约束第一类错误，其性能优于先前的检测器；该方法可实现可靠的局部对齐估计，并在对齐大小与错误概率之间实现可调的权衡。

ABSTRACT

In this work, we propose an efficient two-stage algorithm solving a joint problem of correlation detection and partial alignment recovery between two Gaussian databases. Correlation detection is a hypothesis testing problem; under the null hypothesis, the databases are independent, and under the alternate hypothesis, they are correlated, under an unknown row permutation. We develop bounds on the type-I and type-II error probabilities, and show that the analyzed detector performs better than a recently proposed detector, at least for some specific parameter choices. Since the proposed detector relies on a statistic, which is a sum of dependent indicator random variables, then in order to bound the type-I probability of error, we develop a novel graph-theoretic technique for bounding the $k$-th order moments of such statistics. When the databases are accepted as correlated, the algorithm also recovers some partial alignment between the given databases. We also propose two more algorithms: (i) One more algorithm for partial alignment recovery, whose reliability and computational complexity are both higher than those of the first proposed algorithm. (ii) An algorithm for full alignment recovery, which has a reduced amount of calculations and a not much lower error probability, when compared to the optimal recovery procedure.

研究动机与目标

• 解决在未知行排列下高斯数据库中联合相关性检测与部分对齐恢复的问题。
• 开发一种计算高效的检测器，其错误概率界优于现有方法。
• 在部分恢复中实现对齐大小与错误概率之间的可调权衡。
• 提出一种复杂度降低的完整对齐恢复算法，相比最优最大似然估计具有更低复杂度。
• 利用新颖的图论矩界技术，建立第一类与第二类错误概率的理论界。

提出的方法

• 采用两阶段算法：首先基于所有n²对序列的局部决策进行相关性检测。
• 使用由弱相关指示随机变量之和构成的全局检验统计量，以在原假设（独立数据库）与备择假设（存在相关性但排列未知）之间做出判断。
• 提出一种新颖的图论技术，用于约束和统计量的k阶矩，从而实现对第一类错误概率的紧密分析。
• 在检测到相关性后，利用相同的局部决策作为基础，估计部分对齐。
• 提出第二种更高复杂度的算法，用于部分对齐恢复，其错误概率显著低于第一种。
• 开发一种复杂度降低的算法用于完整对齐恢复，其错误概率接近最优最大似然估计器。

实验结果

研究问题

• RQ1 联合检测与部分对齐恢复框架是否能在错误概率与计算效率方面优于独立方法？
• RQ2 当检验统计量为弱相关指示变量之和时，如何实现对第一类错误的紧密约束？
• RQ3 估计的部分对齐大小与错误概率之间的权衡关系如何？
• RQ4 检测过程中使用的局部决策能否被有效重用于对齐恢复？
• RQ5 在有限n和d条件下，所提出的检测器与文献[2]中的近期检测器相比性能如何？

主要发现

• 在某些参数选择下，所提出的检测器在第一类与第二类错误概率上均优于文献[2]中的检测器，表现出更优性能。
• 新颖的图论矩界技术能够实现对依赖指示变量之和的紧密分析，这对第一类错误控制至关重要。
• 第一种部分对齐恢复算法的计算复杂度为n的二次方，且在对齐大小与错误概率之间具有可调权衡。
• 第二种部分对齐恢复算法的复杂度为立方级，但其错误概率显著低于第一种。
• 完整对齐恢复算法在相对于最优最大似然估计器降低计算复杂度的同时，保持了接近最优的错误概率。
• 仿真结果表明，在实际场景中，完整对齐算法的错误概率与最优估计器相比并无明显恶化。