[论文解读] Sketching, Moment Estimation, and the Lévy-Khintchine Representation Theorem

Seth Pettie, Dingyu Wang|arXiv (Cornell University)|Oct 22, 2024

Topological and Geometric Data Analysis被引用 1

一句话总结

本文通过利用 Lévy-Khintchine 表示定理，建立了 Lévy 过程与流式 sketch 之间的基础联系，统一了 (1±ϵ)-近似 f-矩估计与精确 G-采样 sketch 的设计。它提出了一种系统化方法，利用 Lévy 过程的特征指数构造 O(ϵ⁻² log²n)-bit 的 f-矩估计 sketch，以及通过子序过程的 Laplace 指数实现精确 G-采样器，实现了最优空间复杂度与零误差。

ABSTRACT

In the d-dimensional turnstile streaming model, a frequency vector 𝐱 = (𝐱(1),…,𝐱(n)) ∈ (ℝ^d)ⁿ is updated entry-wisely over a stream. We consider the problem of f-moment estimation for which one wants to estimate f(𝐱)=∑_{v ∈ [n]}f(𝐱(v)) with a small-space sketch. A function f is tractable if the f-moment can be estimated to within a constant factor using polylog(n) space. The f-moment estimation problem has been intensively studied in the d = 1 case. Flajolet and Martin estimate the F₀-moment (f(x) = 1 (x > 0), incremental stream); Alon, Matias, and Szegedy estimate the L₂-moment (f(x) = x²); Indyk estimates the L_α-moment (f(x) = |x|^α), α ∈ (0,2]. For d ≥ 2, Ganguly, Bansal, and Dube estimate the L_{p,q} hybrid moment (f:ℝ^d → ℝ,f(x) = (∑_{j = 1}^d |x_j|^p)^q), p ∈ (0,2],q ∈ (0,1). For tractability, Bar-Yossef, Jayram, Kumar, and Sivakumar show that f(x) = |x|^α is not tractable for α > 2. Braverman, Chestnut, Woodruff, and Yang characterize the class of tractable one-variable functions except for a class of nearly periodic functions. In this work we present a simple and generic scheme to construct sketches with the novel idea of hashing indices to Lévy processes, from which one can estimate the f-moment f(𝐱) where f is the characteristic exponent of the Lévy process. The fundamental Lévy-Khintchine representation theorem completely characterizes the space of all possible characteristic exponents, which in turn characterizes the set of f-moments that can be estimated by this generic scheme. The new scheme has strong explanatory power. It unifies the construction of many existing sketches (F₀, L₀, L₂, L_α, L_{p,q}, etc.) and it implies the tractability of many nearly periodic functions that were previously unclassified. Furthermore, the scheme can be conveniently generalized to multidimensional cases (d ≥ 2) by considering multidimensional Lévy processes and can be further generalized to estimate heterogeneous moments by projecting different indices with different Lévy processes. We conjecture that the set of tractable functions can be characterized using the Lévy-Khintchine representation theorem via what we called the Fourier-Hahn-Lévy method.

研究动机与目标

• 通过随机过程统一设计广义矩估计与采样的流式 sketch。
• 在 turnstile 与增量模型中，建立 Lévy 过程与 sketch 原语之间的深层理论联系。
• 基于 Lévy-Khintchine 表示，提供一种系统化、通用的构造空间高效 sketch 的方法。
• 通过证明许多已知 sketch 自然源于 Lévy 过程，解决 sketch 中可计算性与普适性方面的开放问题。
• 推测所有可计算的 f-矩与 G-采样器均可通过 Lévy 过程或其 Fourier-Hahn-Lévy 扩展捕捉。

提出的方法

• 利用 Lévy-Khintchine 表示，通过 ℝᵈ 中 Lévy 过程 X 的特征指数 fX(z) = −log E[e^{i⟨z,X₁⟩}] 参数化 sketch。
• 在 ℝᵈ-turnstile 模型中，构造用于估计 fX-矩的 O(ϵ⁻² log²n)-bit sketch，推广了对 Fp、F0 和混合矩的已知 sketch。
• 通过其 Laplace 指数，将任意非负 Lévy 过程（子序过程）转化为 R⁺-turnstile 模型中的精确 GX-采样器。
• 应用周期性与近似 Fourier-Hahn-Lévy 方法，将框架扩展至不具有标准 Lévy-Khintchine 表示的函数。
• 重新诠释现有 sketch（如 F2、F0、Fp 的 sketch）为特定 Lévy 过程（如对称泊松过程）的产物。
• 证明 Lévy-Tower 构造可估计基矩 fs(x) = 1−cos(sx) 的线性组合，包括近似周期函数。

实验结果

研究问题

• RQ1 Lévy-Khintchine 表示定理能否系统化地用于构造广义 f-矩估计的流式 sketch？
• RQ2 在增量模型中，精确 G-采样器与子序过程的 Laplace 指数之间的确切联系是什么？
• RQ3 该框架能否处理不具有标准 Lévy-Khintchine 表示的函数（如周期函数或混合周期函数）？
• RQ4 是否存在一个通用 sketch 框架，能通过 Lévy 过程捕捉所有可计算的 f-矩？
• RQ5 G-采样器的空间效率与精确性能否由子序过程的 Laplace 指数表征？

主要发现

• 本文利用任意 ℝᵈ 中 Lévy 过程 X 的特征指数 fX，构造了 O(ϵ⁻² log²n)-bit 的 fX-矩估计 sketch，覆盖了所有已知 f-矩 sketch，且空间复杂度为 poly(ϵ⁻¹, log n)。
• 在增量模型中，通过子序过程的 Laplace 指数，构造了失败概率为零、采样概率精确正确的精确 G-采样器。
• 该框架可推广至多变量函数，并包含此前难以处理的案例，如谐波矩与近似周期矩。
• 基于对称泊松过程的 Lévy-Tower 构造可估计 F2、F0 以及基矩 fs(x) = 1−cos(sx) 的线性组合，展示了对许多可计算实矩的普适性。
• 作者表明，某些 Lévy 过程会“泄露”其特征指数之外的多个 f-矩信息，从而实现更广泛的估计能力。
• 本文推测，ℤⁿ 或 ℝⁿ 中所有可计算的 f-矩均可通过 Lévy-Khintchine 可表示的 g₊ 与 g₋ 实现，满足 (g₊+g₋)/f = O(poly(ϵ⁻¹, log n))，且 O(log n)-bit 的 G-采样器恰好对应于子序过程的 Laplace 指数。