[论文解读] Nearest Neighbor Complexity and Boolean Circuits

Mason DiCicco, Vladimir V. Podolskii+1 more|arXiv (Cornell University)|Feb 9, 2024

Complexity and Algorithms in Graphs被引用 1

一句话总结

本文建立了布尔函数的最近邻表示与最小-加法多项式阈值函数（mpPTF）之间的深层联系，使得在 k ≤ n¹⁻⁰ 时，对显式函数实现了 k-最近邻复杂度的新指数下界。研究表明，证明超多项式 k-NN 复杂度下界将需要在电路复杂度领域取得突破性进展，并展示了在无限制的 k 情况下，最近邻与 k-NN 复杂度之间存在指数级分离。

ABSTRACT

A nearest neighbor representation of a Boolean function $f$ is a set of vectors (anchors) labeled by $0$ or $1$ such that $f(\vec{x}) = 1$ if and only if the closest anchor to $\vec{x}$ is labeled by $1$. This model was introduced by Hajnal, Liu, and Turán (2022), who studied bounds on the number of anchors required to represent Boolean functions under different choices of anchors (real vs. Boolean vectors) as well as the more expressive model of $k$-nearest neighbors. We initiate the study of the representational power of nearest and $k$-nearest neighbors through Boolean circuit complexity. To this end, we establish a connection between Boolean functions with polynomial nearest neighbor complexity and those that can be efficiently represented by classes based on linear inequalities -- min-plus polynomial threshold functions -- previously studied in relation to threshold circuits. This extends an observation of Hajnal et al. (2022). We obtain exponential lower bounds on the $k$-nearest neighbors complexity of explicit $n$-variate functions, assuming $k \leq n^{1-ε}$. Previously, no superlinear lower bound was known for any $k>1$. Next, we further extend the connection between nearest neighbor representations and circuits to the $k$-nearest neighbors case. As a result, we show that proving superpolynomial lower bounds for the $k$-nearest neighbors complexity of an explicit function for arbitrary $k$ would require a breakthrough in circuit complexity. In addition, we prove an exponential separation between the nearest neighbor and $k$-nearest neighbors complexity (for unrestricted $k$) of an explicit function. These results address questions raised by Hajnal et al. (2022) of proving strong lower bounds for $k$-nearest neighbors and understanding the role of the parameter $k$. Finally, we devise new bounds on the nearest neighbor complexity for several explicit functions.

研究动机与目标

• 系统研究最近邻与 k-最近邻规则在布尔超立方体上的表示能力，基于布尔电路复杂度。
• 解决 Hajnal 等人（2022）提出的问题，即在 k-NN 复杂度上证明强下界，并理解参数 k 的作用。
• 建立最近邻表示与基于线性不等式的函数类之间的联系，特别是最小-加法多项式阈值函数（mpPTF）。
• 为显式函数（如不相交性、CNF 和多数函数）推导出最近邻复杂度的新上界与下界。
• 表明，对任意 k 证明超多项式 k-NN 复杂度下界，将需要在电路复杂度理论方面取得重大进展。

提出的方法

• 引入并分析 NN 与 HNN 类（最近邻与布尔最近邻）在变量代换与复制下的封闭性，通过最小-加法多项式阈值函数（mpPTF）对其进行刻画。
• 通过引入新类 kSTAT，将 mpPTF 刻画扩展至 k-NN 表示，该类将 mpPTF 推广至线性形式的 k 统计量上的不等式。
• 利用 mpPTF 与 kSTAT 的刻画，为当 k ≤ n¹⁻⁰ 时的显式 n 变量函数推导出 k-NN 复杂度的指数级下界。
• 在汉明立方体上应用组合与几何论证，以限制 HNN 表示中所需的锚点数量，特别是与函数的支撑集的连通分量相关。
• 利用已知的电路复杂度结果（例如，Razborov 对不相交性的下界）推导出所需最小锚点数的紧致界。
• 构造具有多项式数量子句但指数级连通分量的显式 CNF 公式，以证明 HNN 复杂度的指数级下界。

实验结果

研究问题

• RQ1 在布尔电路复杂度中，最近邻复杂度与最小-加法多项式阈值函数（mpPTF）之间存在何种关系？
• RQ2 当 k > 1 时，能否为显式布尔函数的 k-最近邻复杂度建立指数级下界？
• RQ3 参数 k 如何影响 k-NN 模型的表示能力？k 与复杂度之间的权衡是什么？
• RQ4 在无限制的 k 情况下，最近邻与 k-最近邻复杂度之间能否存在指数级分离？
• RQ5 多项式最近邻复杂度在多大程度上意味着高效可学习性或电路效率？

主要发现

• HNN 类（布尔最近邻）在变量代换与复制下的封闭性恰好是多项式复杂度的最小-加法多项式阈值函数类（mpPTF），扩展了先前的包含关系结果。
• 对任意 ǫ > 0，存在一个显式 n 变量布尔函数，其在任何 HNN 表示中当 k ≤ n¹⁻⁰ 时需要 2Ω(n) 个锚点，从而首次为 k > 1 建立了指数级下界。
• 除非在电路复杂度领域取得突破，否则任何显式函数的 k-NN 复杂度都不可能是超多项式的，因为 k-NN 表示由新类 kSTAT 所刻画。
• 存在一个具有 poly(n) 个子句的显式 k-CNF，其在任何 HNN 表示中需要 2Ω(n) 个锚点，从而证明了 HNN 与 NN 复杂度之间的指数级分离。
• 在偶数个变量上的多数函数在任何 HNN 表示中恰好需要 n/2 + 2 个锚点，证明了与目前已知最优上界匹配的紧致下界。
• 具有多项式数量子句的 CNF 可能具有多项式 NN 复杂度与常数位复杂度，但某些此类 CNF 由于其分量结构，仍需要指数级 HNN 复杂度。