[论文解读] On The Hardness of Approximate and Exact (Bichromatic) Maximum Inner Product

Lijie Chen|arXiv (Cornell University)|Feb 7, 2018

Advanced Algebra and Logic被引用 5

一句话总结

本文建立了在 SETH 假设下，对双色最大内积（Max-IP）问题进行近似和求解的紧致条件性下界。结果表明，在 SETH 下，亚二次时间算法无法实现优于 $(d/\log n)^{\Omega(1)}$ 的乘法近似或 $\Omega(d)$ 的加法近似；同时证明了在 $2^{O(\log^* n)}$ 维空间中，整数向量上的精确 Max-IP 问题具有 $n^{2-o(1)}$ 时间下界，从而解决了细粒度复杂性领域中的一个关键开放问题。

ABSTRACT

In this paper we study the (Bichromatic) Maximum Inner Product Problem (Max-IP), in which we are given sets $A$ and $B$ of vectors, and the goal is to find $a \\in A$ and $b \\in B$ maximizing inner product $a \\cdot b$. Max-IP is very basic and serves as the base problem in the recent breakthrough of [Abboud et al., FOCS 2017] on hardness of approximation for polynomial-time problems. It is also used (implicitly) in the argument for hardness of exact $\\ell_2$-Furthest Pair (and other important problems in computational geometry) in poly-log-log dimensions in [Williams, SODA 2018]. We have three main results regarding this problem. First, we study the best multiplicative approximation ratio for Boolean Max-IP in sub-quadratic time. We show that, for Max-IP with two sets of $n$ vectors from $\\{0,1\\}^{d}$, there is an $n^{2 - \\Omega(1)}$ time $\\left( d/\\log n \ ight)^{\\Omega(1)}$-multiplicative-approximating algorithm, and we show this is conditionally optimal, as such a $\\left(d/\\log n\ ight)^{o(1)}$-approximating algorithm would refute SETH. Second, we achieve a similar characterization for the best additive approximation error to Boolean Max-IP. We show that, for Max-IP with two sets of $n$ vectors from $\\{0,1\\}^{d}$, there is an $n^{2 - \\Omega(1)}$ time $\\Omega(d)$-additive-approximating algorithm, and this is conditionally optimal, as such an $o(d)$-approximating algorithm would refute SETH [Rubinstein, STOC 2018]. Last, we revisit the hardness of solving Max-IP exactly for vectors with integer entries. We show that, under SETH, for Max-IP with sets of $n$ vectors from $\\mathbb{Z}^{d}$ for some $d = 2^{O(\\log^{*} n)}$, every exact algorithm requires $n^{2 - o(1)}$ time. With the reduction from [Williams, SODA 2018], it follows that $\\ell_2$-Furthest Pair and Bichromatic $\\ell_2$-Closest Pair in $2^{O(\\log^{*} n)}$ dimensions require $n^{2 - o(1)}$ time.

研究动机与目标

• 刻画在亚二次时间内可实现的布尔 Max-IP 问题的最佳乘法近似比。
• 确定在亚二次时间内可实现的布尔 Max-IP 问题的最佳加法近似误差。
• 在高维空间中，对整数向量上的 Max-IP 问题建立精确复杂性下界，特别针对 $2^{O(\log^* n)}$ 维空间。
• 将 Max-IP 的条件性下界与通信复杂性类联系起来，尤其是 Set-Disjointness 问题的 $\mathsf{MA}$ 和 $\mathsf{NP} \cdot \mathsf{UPP}$ 协议。
• 利用中国剩余定理改进从正交向量问题到整数向量的维数约化技术。

提出的方法

• 利用一种新的 $\mathsf{MA}$ 协议来解决 Set-Disjointness 问题，其复杂度为 $O(\sqrt{n \log n \log \log n})$，从而推导出乘法近似下界。
• 采用多项式方法与随机采样技术，设计出时间复杂度为 $n^{2-\Omega(1)}$ 的算法，实现 $\left(d/\log n\right)^{\Omega(1)}$ 的乘法近似与 $\Omega(d)$ 的加法近似。
• 提出一种新颖的维数自约化方法，将 $\mathsf{OV}$ 问题从 $\{0,1\}^d$ 映射到 $\mathbb{Z}^\ell$，利用中国剩余定理，实现 $\ell = 2^{O(\log^* d)}$。
• 将 $\mathsf{OV}_{n,c\log n}$ 约化为 $n^\varepsilon$ 个 $\mathsf{Max\text{-}IP}_{n,d}$ 问题实例，控制内积阈值，从而建立复杂性下界。
• 建立整数上精确 Max-IP 问题的复杂性与 Set-Disjointness 问题的 $\mathsf{NP} \cdot \mathsf{UPP}$ 通信协议之间的联系，其形式与近似情形下的已知联系类似。
• 利用 $\mathsf{MA}$ 协议的结构，构造出一种复杂度为 $O(\sqrt{n \log n \log \log n})$ 的 $\mathsf{MA}$ 通信协议，改进了先前的 $O(\sqrt{n} \log n)$ 上界。

实验结果

研究问题

• RQ1 是否存在一个亚二次时间算法，能够对布尔 Max-IP 实现 $\left(d/\log n\right)^{o(1)}$ 的乘法近似？
• RQ2 是否存在一个亚二次时间算法，能够对布尔 Max-IP 实现 $o(d)$ 的加法近似？
• RQ3 当 $d = 2^{O(\log^* n)}$ 时，求解 $\mathbb{Z}^d$ 上 Max-IP 的精确时间复杂度是多少？
• RQ4 Max-IP 复杂性与通信复杂性之间的联系能否从 $\mathsf{MA}$ 扩展到 $\mathsf{NP} \cdot \mathsf{UPP}$ 协议？
• RQ5 利用代数技术（如中国剩余定理）将 $\mathsf{OV}$ 问题约化到整数 Max-IP 时，最优的维数约化方法是什么？

主要发现

• 存在一个时间复杂度为 $n^{2-\Omega(1)}$ 的算法，可对布尔 Max-IP 实现 $\left(d/\log n\right)^{\Omega(1)}$ 的乘法近似，且在 SETH 假设下该结果是条件性最优的。
• 存在一个时间复杂度为 $n^{2-\Omega(1)}$ 的算法，可对布尔 Max-IP 实现 $\Omega(d)$ 的加法近似，且在 SETH 假设下该结果也是条件性最优的。
• 在 SETH 假设下，任何求解 $\mathbb{Z}^d$ 上 Max-IP 的精确算法，当 $d = 2^{O(\log^* n)}$ 时，都需要 $n^{2-o(1)}$ 时间。
• 在 $2^{O(\log^* n)}$ 维空间中，$\ell_2$-远距离点对问题与双色 $\ell_2$-最近邻点对问题在 SETH 下均需要 $n^{2-o(1)}$ 时间。
• 本文提出一种新的 Set-Disjointness 问题的 $\mathsf{MA}$ 协议，其复杂度为 $O(\sqrt{n \log n \log \log n})$，优于先前的 $O(\sqrt{n} \log n)$ 上界。
• 本文建立了整数上精确 Max-IP 复杂性与 Set-Disjointness 问题的 $\mathsf{NP} \cdot \mathsf{UPP}$ 通信协议之间的新联系，其形式与近似情形下的已知联系类似。