[论文解读] The Strong 3SUM-INDEXING Conjecture is False

Tsvi Kopelowitz, Ely Porat|arXiv (Cornell University)|Jul 25, 2019

Algorithms and Data Compression参考文献 13被引用 5

一句话总结

该论文通过提出一种确定性算法，驳斥了强3SUM索引猜想，该算法在任意 $ \theta > 0 $ 下实现 $ O(n^{2-\theta}) $ 空间和 $ O(n^{\theta}) $ 查询时间，利用Fiat和Naor的算法将问题约化为函数求逆，并通过在多个哈希函数上使用去随机化哈希策略，以高概率确保正确性。

ABSTRACT

In the 3SUM-Indexing problem the goal is to preprocess two lists of elements from $U$, $A=(a_1,a_2,\ldots,a_n)$ and $B=(b_1,b_2,...,b_n)$, such that given an element $c\in U$ one can quickly determine whether there exists a pair $(a,b)\in A imes B$ where $a+b=c$. Goldstein et al.~[WADS'2017] conjectured that there is no algorithm for 3SUM-Indexing which uses $n^{2-Ω(1)}$ space and $n^{1-Ω(1)}$ query time. We show that the conjecture is false by reducing the 3SUM-Indexing problem to the problem of inverting functions, and then applying an algorithm of Fiat and Naor [SICOMP'1999] for inverting functions.

研究动机与目标

• 挑战广泛持有的强3SUM索引猜想，该猜想认为任何算法都无法在 $ n^{2-\theta} $ 空间和 $ n^{1-\theta} $ 查询时间下实现对任意 $ \theta > 0 $ 的性能。
• 设计一种针对3SUM索引问题的实用算法，通过高级数据结构技术打破猜想的下界。
• 将解决方案扩展至一般的KSUM索引问题，并在最坏情况和随机输入下分析其性能。
• 通过构造一个具体算法证明该猜想为假，该算法具备可证明的亚二次空间和亚线性查询时间。

提出的方法

• 将KSUM索引问题约化为一个精心构造的函数 $ f: [n]^{k-1} \to [n]^{k-1} $ 的求逆问题，其中 $ f $ 将索引元组映射为其对应和的哈希值。
• 采用Fiat和Naor的函数求逆算法，该算法在 $ S \cdot T^3 = N^3 $ 条件下实现 $ \tilde{O}(S) $ 空间和 $ \tilde{O}(T) $ 查询时间，其中 $ N = n^{k-1} $。
• 使用 $ O(\log n) $ 对相互独立的哈希函数 $ h_\ell $，以高概率确保输出集合中的每个和都被唯一映射，从而实现可靠的验证。
• 对每个哈希函数 $ h_\ell $，预先计算 $ f_\ell = h_\ell \circ g $ 的逆函数，其中 $ g $ 负责计算给定索引处元素的和。
• 在查询过程中，检查所有 $ f_\ell^{-1}(h_\ell(c)) $，对每个预像计算实际和，若任一匹配目标值 $ c $，则返回'yes'。
• 利用无限的预处理时间，确定性地选择哈希函数，使得所有相关和对某个 $ \ell $ 均为 $ h \_\ell $-单例，从而确保正确性。

实验结果

研究问题

• RQ1 强3SUM索引猜想能否通过构造一个实现亚二次空间和亚线性查询时间的算法来被驳斥？
• RQ2 是否可以将3SUM索引问题约化为函数求逆，从而实现高效的时空权衡？
• RQ3 当输入为均匀随机时，该算法的性能如何变化？能否进一步优化该权衡？
• RQ4 去随机化技术能否应用于基于哈希的函数求逆，以在不依赖概率假设的前提下保证正确性？

主要发现

• 强3SUM索引猜想为假：存在一个算法，其空间复杂度为 $ O(n^{2 - \delta/3}) $，查询时间为 $ O(n^{\delta}) $，对任意 $ 0 < \delta < 1 $ 均成立。
• 当 $ \delta = 3/4 $ 时，该算法使用 $ n^{1.75} $ 空间和 $ n^{0.75} $ 查询时间，违反了猜想中的下界。
• 对于3SUM索引的随机实例，空间复杂度可进一步优化至 $ O(n^{1.625}) $，同时保持 $ n^{0.75} $ 的查询时间，这是由于函数求逆代价的更紧权衡。
• 该算法使用 $ O(\log n) $ 对相互独立的哈希函数，以高概率确保输出集合中的每个和均可被唯一哈希。
• 通过在预处理阶段确定性地选择哈希函数，该方法实现了正确性，消除了对随机化保证的依赖。
• 核心技术——通过Fiat和Naor的算法将KSUM索引约化为函数求逆——为索引问题提供了实现亚二次空间和亚线性查询时间的一般性框架。