[论文解读] Testing local properties of arrays

Omri Ben‐Eliezer|arXiv (Cornell University)|Nov 19, 2018

Algorithms and Data Compression被引用 5

一句话总结

该论文提出了一种通用的、单边错误的、非自适应测试框架，用于在任意有限字母表上的 d 维数组中测试 k-局部性质。通过查询与性质或字母表无关的球状结构，该框架建立了最优的查询复杂度界限——当 d=1 时为 O(ε⁻¹k log(εn/k))，当 d>1 时为 O(c_d ε⁻¹ᐟᵈ k n^{d-1})，并实现了对单调性、Lipschitz 连续性、凸性及其他局部性质的紧致界限。

ABSTRACT

We study testing of local properties in one-dimensional and multi-dimensional arrays. A property of $d$-dimensional arrays $f:[n]^d o Σ$ is $k$-local if it can be defined by a family of $k imes \ldots imes k$ forbidden consecutive patterns. This definition captures numerous interesting properties. For example, monotonicity, Lipschitz continuity and submodularity are $2$-local; convexity is (usually) $3$-local; and many typical problems in computational biology and computer vision involve $o(n)$-local properties. In this work, we present a generic approach to test all local properties of arrays over any finite (and not necessarily bounded size) alphabet. We show that any $k$-local property of $d$-dimensional arrays is testable by a simple canonical one-sided error non-adaptive $\varepsilon$-test, whose query complexity is $O(ε^{-1}k \log{\frac{εn}{k}})$ for $d = 1$ and $O(c_d ε^{-1/d} k \cdot n^{d-1})$ for $d > 1$. The queries made by the canonical test constitute sphere-like structures of varying sizes, and are completely independent of the property and the alphabet $Σ$. The query complexity is optimal for a wide range of parameters: For $d=1$, this matches the query complexity of many previously investigated local properties, while for $d > 1$ we design and analyze new constructions of $k$-local properties whose one-sided non-adaptive query complexity matches our upper bounds. For some previously studied properties, our method provides the first known sublinear upper bound on the query complexity.

研究动机与目标

• 开发一种统一且高效的测试框架，用于结构化数组中的局部性质，特别是由禁止连续模式定义的性质。
• 为一维和多维数组中 k-局部性质的测试建立紧致的查询复杂度界限。
• 通过为单边和双边非自适应测试建立匹配的下界，证明所提方法的最优性。
• 通过将计算生物学、计算机视觉和优化等领域中的多种问题建模为 k-局部性质，拓展性质测试的应用范围。
• 为某些此前未被研究的局部性质（包括全局计数型条件如“零的个数多于一”）提供首个已知的次线性查询复杂度上界。

提出的方法

• 提出一种标准的单边错误、非自适应 ε-测试，通过查询不同大小的球状结构，且与性质或字母表无关。
• 将 k-局部性质定义为：当且仅当数组避免一组 k×⋯×k 的禁止连续子数组时，该数组满足该性质。
• 通过将问题约化到一个更高维的辅助数组 A₃ 中的计数型性质，其中每个单元格存储来自基础数组的聚合 0/1 计数。
• 基于全局计数失衡（例如，质心处零的个数多于一）构建拒绝集和接受集（C_rej 和 C_acc），以建立下界。
• 应用概率分析来界定查询集 Q 中总和的期望值，表明为以单边错误区分 C_acc 和 C_rej，|Q| 必须为 Ω(n^{d-1}/d)。
• 将构造推广至任意偶数 k ≥ 2 和常数 ε，通过修改数据流和计数聚合规则，同时保持 k-局部性。

实验结果

研究问题

• RQ1 能否设计出一种单一、通用的测试框架，以处理任意有限字母表上 d 维数组中的所有 k-局部性质？
• RQ2 在一维和多维数组中测试 k-局部性质的最优查询复杂度是多少？
• RQ3 所提框架的查询复杂度界限与单调性、Lipschitz 连续性、凸性等特定性质的已知界限相比如何？
• RQ4 该框架能否为此前未被研究的局部性质（如全局计数型条件）提供首个次线性查询复杂度上界？
• RQ5 非自适应、单边错误测试 k-局部性质的最紧致下界是什么？它们与上界是否匹配？

主要发现

• 所提的标准测试在 d=1 时达到 O(ε⁻¹k log(εn/k)) 的查询复杂度，在 d>1 时达到 O(c_d ε⁻¹ᐟᵈ k n^{d-1})，与单调性和 Lipschitz 连续性已知的最优界限一致。
• 当 d=1 时，查询复杂度与此前研究的局部性质的最佳已知界限匹配，证实了该框架的高效性。
• 当 d>1 时，该框架的上界通过新构造的 k-局部性质得到匹配，证明了复杂度界限的紧致性。
• 该方法为某些全局性质（传统意义上非局域）提供了首个已知的次线性查询复杂度上界，例如“质心处零的个数多于一”。
• 证明了一维非自适应测试的匹配下界为 Ω(n^{d-1}/d)，表明查询复杂度在常数因子范围内是最优的。
• 该框架具有普适性：查询集与性质和字母表无关，仅依赖于 k 和 d，使其在各种应用场景中具有高度可重用性。