[论文解读] Nearly Optimal Independence Oracle Algorithms for Edge Estimation in Hypergraphs

Holger Dell, John Lapinskas+1 more|arXiv (Cornell University)|Nov 7, 2022

Machine Learning and Algorithms被引用 2

一句话总结

本文在使用独立性或彩色独立性预言机时，为 k-均匀超图中的近似边计数建立了近乎最优的算法和无条件的下界，查询成本取决于输入规模。结果表明，在彩色设置下，近似计数相对于决策问题的额外开销被减少至 log^Θ(k−α) n；而在非彩色设置下，除非 α ≥ k−1，否则此类细粒度归约是不可能的，揭示了非彩色预言机在复杂性上的根本障碍。

ABSTRACT

Consider a query model of computation in which an n-vertex k-hypergraph can be accessed only via its independence oracle or via its colourful independence oracle, and each oracle query may incur a cost depending on the size of the query. Several recent results (Dell and Lapinskas, STOC 2018; Dell, Lapinskas, and Meeks, SODA 2020) give efficient algorithms to approximately count the hypergraph’s edges in the colourful setting. These algorithms immediately imply fine-grained reductions from approximate counting to decision, with overhead only log^Θ(k) n over the running time n^α of the original decision algorithm, for many well-studied problems including k-Orthogonal Vectors, k-SUM, subgraph isomorphism problems including k-Clique and colourful-H, graph motifs, and k-variable first-order model checking. We explore the limits of what is achievable in this setting, obtaining unconditional lower bounds on the oracle cost of algorithms to approximately count the hypergraph’s edges in both the colourful and uncoloured settings. In both settings, we also obtain algorithms which essentially match these lower bounds; in the colourful setting, this requires significant changes to the algorithm of Dell, Lapinskas, and Meeks (SODA 2020) and reduces the total overhead to log^{Θ(k-α)}n. Our lower bound for the uncoloured setting shows that there is no fine-grained reduction from approximate counting to the corresponding uncoloured decision problem (except in the case α ≥ k-1): without an algorithm for the colourful decision problem, we cannot hope to avoid the much larger overhead of roughly n^{(k-α)²/4}. The uncoloured setting has previously been studied for the special case k = 2 (Peled, Ramamoorthy, Rashtchian, Sinha, ITCS 2018; Chen, Levi, and Waingarten, SODA 2020), and our work generalises the existing algorithms and lower bounds for this special case to k > 2 and to oracles with cost.

研究动机与目标

• 填补现有算法与近似边计数在超图中使用独立性预言机时的理论极限之间的差距。
• 在彩色和非彩色设置下，建立近似计数的无条件预言机成本下界。
• 确定是否能实现从近似计数到非彩色决策问题的细粒度归约，特别是针对决策时间复杂度为 n^α 的问题。
• 将 k=2 时的先前结果推广至 k>2 的情形，并推广至具有可变查询成本的预言机。
• 在预言机模型中，为近似计数相对于决策算法的开销提供紧致的界限。

提出的方法

• 构建两类 k-部分 k-超图的联合分布 G1 和 G2，其边数比例受控，以模拟困难实例。
• 通过概率分析，限制在特定成本和精度约束下准确查询的概率。
• 应用马尔可夫不等式和联合界，推导出确定性 cIND-预言机算法的期望成本下界。
• 引入一种结构化的查询模型，其中查询为 S_i ⊆ V_i 的子集，成本通过 cost(x) = x^α 依赖于大小。
• 利用整数分拆的组合界来下界估计可能的查询配置数量，这对概率估计至关重要。
• 利用集中与尾部界限，表明任何能区分 G1 和 G2 的算法，在给定成本函数下必须承受较高的期望成本。

实验结果

研究问题

• RQ1 在彩色预言机模型中，是否能仅以决策算法运行时间的多对数开销实现 k-超图中近似边计数？
• RQ2 在非彩色独立性预言机模型中，近似计数的最小可能预言机成本是多少？是否受 log^Θ(k) n 的限制？
• RQ3 对于决策时间复杂度为 n^α 且 α < k−1 的问题，是否存在从近似计数到非彩色决策问题的细粒度归约？
• RQ4 能否将 k=2 时的结果推广至 k>2 的情形，并支持依赖成本的预言机查询？
• RQ5 在非彩色设置中，阻止计数到决策高效归约的根本成本障碍是什么？

主要发现

• 在彩色设置中，本文实现了近似计数相对于决策的开销为 log^Θ(k−α) n，显著优于先前的 log^Θ(k) n 的界限。
• 在非彩色设置中，本文证明，除非 α ≥ k−1，否则无法实现从近似计数到决策的细粒度归约，且成本下界约为 n^{(k−α)^2/4}。
• 非彩色情形下的下界表明，其开销比彩色情形指数级更大，从而在两个模型之间建立了根本性分离。
• 作者构造了相关的超图分布 G1 和 G2，使得 e(G2) ≥ 4e(G1) 的概率至少为 19/20，构成下界论证的核心。
• 任何能区分 G1 和 G2 的确定性 cIND-预言机算法的期望预言机成本至少为 C/2，其中 C = t^α / (25k+7k^7k · (log t / log log t)^{k−⌊α⌋−3})。
• 本研究将 k=2 时的先前工作推广至一般 k ≥ 2，并扩展至具有成本函数的预言机，完整描绘了独立性预言机模型中细粒度归约的极限。