[论文解读] The recovery of ridge functions on the hypercube suffers from the curse of dimensionality

Benjamin Doerr, Sebastian Mayer|arXiv (Cornell University)|Mar 25, 2019

Sparse and Compressive Sensing Techniques参考文献 38被引用 5

一句话总结

该论文表明，在超立方体 $[-1,1]^d$ 上恢复具有 Lipschitz 正则性轮廓的脊函数，在 $L_∞$-范数下即使在随机算法下也面临维度灾难。然而，若脊向量 $a$ 近似稀疏（即仅少数分量占主导），则问题变为弱可 tractable，只要轮廓 $g$ 具有足够正则性，即可避免维度灾难。这确立了基于 $a$ 的结构，可 tractable 与不可 tractable 恢复之间的精确临界点。

ABSTRACT

A multivariate ridge function is a function of the form $f(x) = g(a^{\\scriptscriptstyle T} x)$, where $g$ is univariate and $a \\in \\mathbb{R}^d$. We show that the recovery of an unknown ridge function defined on the hypercube $[-1,1]^d$ with Lipschitz-regular profile $g$ suffers from the curse of dimensionality when the recovery error is measured in the $L_\\infty$-norm, even if we allow randomized algorithms. If a limited number of components of $a$ is substantially larger than the others, then the curse of dimensionality is not present and the problem is weakly tractable provided the profile $g$ is sufficiently regular.

研究动机与目标

• 解决在高维下以 $L_\infty$-范数误差衡量时，超立方体上脊函数恢复是否可 tractable 的基本问题。
• 识别在高维下即使存在维度灾难，恢复问题仍能避免该灾难的条件。
• 研究脊向量稀疏性与轮廓正则性在决定信息复杂度中的作用。
• 确定随机算法是否能在一般脊函数设置下克服维度灾难。
• 基于对脊向量的结构假设，表征从不可 tractable 到弱可 tractable 恢复的转变。

提出的方法

• 论文分析了在 $[-1,1]^d$ 上恢复脊函数 $f(x) = g(a^\top x)$ 的信息复杂度 $n(\varepsilon, F_d)$，其中 $g \in B^{\mathrm{Lip}(r)}$ 且 $\|a\|_1 \leq 1$。
• 使用逼近理论和基于样条的拟插值器 $Q_h$ 来界定从采样值逼近 $g$ 的误差。
• 应用 $g$ 及其导数的 Hölder 连续性和 Lipschitz 正则性，推导出依赖于样本数 $n$ 的误差界。
• 将逼近误差分解为三个部分：$g$ 的逼近、脊向量符号的不确定性，以及向量估计误差。
• 通过迭代优化和基于网格的采样，推导出 $\|\widehat{a} - a/\|a\|_1\|_1$ 的界，以控制估计误差。
• 证明当 $a$ 近似稀疏（即 $\|a\|_p \leq 1$，$p \in (0,1]$）时，误差随 $n$ 多项式衰减，避免了对 $d$ 的指数依赖。

实验结果

研究问题

• RQ1 在超立方体上恢复脊函数是否在 $L_\infty$-范数下面临维度灾难？
• RQ2 随机算法能否在脊函数恢复中克服维度灾难？
• RQ3 在脊向量 $a$ 的何种结构假设下，维度灾难会消失？
• RQ4 轮廓 $g$ 的正则性如何影响恢复问题的可 tractable 性？
• RQ5 是否存在基于 $a$ 稀疏性的阈值，以区分不可 tractable 与弱可 tractable 的恢复？

主要发现

• 在超立方体上恢复具有 Lipschitz 正则性轮廓的脊函数，在 $L_\infty$-范数下即使使用随机算法也面临维度灾难。
• 信息复杂度随维度呈指数增长：对所有 $\varepsilon \in (0,1)$ 和 $d \in \mathbb{N}$，有 $n(\varepsilon, F_d) \geq 2^{\lfloor d/2\rfloor}$，确认了最坏情况下的不可 tractable 性。
• 当脊向量 $a$ 近似稀疏（即 $\|a\|_p \leq 1$，$p \in (0,1]$ 且 $\|a\|_1 \leq 1$）时，问题变为弱可 tractable。
• 在近似稀疏性下，误差以 $O(n^{-r})$ 衰减，当 $r$ 固定时，表明具有多项式可 tractable 性。
• 逼近误差被分解为三部分：$g$-逼近、符号不确定性与向量估计误差；每部分均通过 $n_g$ 和 $n_b$ 个样本控制在 $\varepsilon/3$ 以内。
• 对归一化脊向量 $\bar{a} = a/\|a\|_1$ 的估计可实现 $\|\gamma\widehat{a} - \bar{a}\|_1 \leq \varepsilon/3$，使用 $n_b$ 个样本，从而确保整体误差控制。