[论文解读] Tight Bounds on Low-degree Spectral Concentration of Submodular and XOS functions

Vitaly Feldman, Jan Vondrák|arXiv (Cornell University)|Apr 13, 2015

Machine Learning and Algorithms参考文献 33被引用 6

一句话总结

本文在均匀分布下的 ℓ₂ 范数中，为子模函数和 XOS 函数的低次多项式逼近建立了紧致的度数界限。结果表明，子模函数实现 ε-逼近需要 Θ(1/ε⁴/⁵) 次数，而 XOS 函数需要 Θ(1/ε) 次数，显著优于先前的 O(1/ε²) 上限，并与现有下限完全吻合。

ABSTRACT

Submodular and fractionally subadditive (or equivalently XOS) functions play a fundamental role in combinatorial optimization, algorithmic game theory and machine learning. Motivated by learnability of these classes of functions from random examples, we consider the question of how well such functions can be approximated by low-degree polynomials in $\ell_2$ norm over the uniform distribution. This question is equivalent to understanding of the concentration of Fourier weight on low-degree coefficients, a central concept in Fourier analysis. We show that 1. For any submodular function $f:\{0,1\}^n ightarrow [0,1]$, there is a polynomial of degree $O(\log (1/ε) / ε^{4/5})$ approximating $f$ within $ε$ in $\ell_2$, and there is a submodular function that requires degree $Ω(1/ε^{4/5})$. 2. For any XOS function $f:\{0,1\}^n ightarrow [0,1]$, there is a polynomial of degree $O(1/ε)$ and there exists an XOS function that requires degree $Ω(1/ε)$. This improves on previous approaches that all showed an upper bound of $O(1/ε^2)$ for submodular and XOS functions. The best previous lower bound was $Ω(1/ε^{2/3})$ for monotone submodular functions. Our techniques reveal new structural properties of submodular and XOS functions and the upper bounds lead to nearly optimal PAC learning algorithms for these classes of functions.

研究动机与目标

• 在均匀分布下的 ℓ₂ 范数中，解决通过低次多项式逼近子模函数和 XOS 函数的紧致度数界限问题。
• 弥合先前已知的 O(1/ε²) 上限与子模函数的 Ω(1/ε²/³) 下限之间的差距。
• 确立子模函数与 XOS 函数的谱集中度本质上受其结构特性限制，而非仅由一般函数类决定。
• 证明这些界限可导出针对这些函数类的近乎最优的 PAC 学习算法。
• 表明这些结果无法推广至更广泛的自有界函数类，因为后者需要指数更高的次数。

提出的方法

• 通过分析子模函数与 XOS 函数的傅里叶谱，量化 ℓ₂ 范数在低次系数上的集中程度。
• 利用噪声敏感性和影响度技术，推导出实现 ε-逼近所需的次数的上界。
• 通过组合构造方法（包括使用汉明码将困难的布尔函数嵌入自有界函数）构造显式的下界示例。
• 应用 ℓ₂ 中逼近与傅里叶权重分布之间的对偶性，将多项式次数与逼近误差关联起来。
• 通过随机嵌入将一般布尔函数的学习问题约化为自有界函数的学习问题，以建立所需次数的下界。
• 利用关于 junta 近似和总影响度的结果，推导出子模函数与 XOS 函数的次数界限。

实验结果

研究问题

• RQ1 在均匀分布下的 ℓ₂ 范数中，任何子模函数 f: {0,1}ⁿ → [0,1] 实现 ε-逼近所需的紧致度数界限是什么？
• RQ2 在均匀分布下的 ℓ₂ 范数中，任何 XOS 函数 f: {0,1}ⁿ → [0,1] 实现 ε-逼近所需的紧致度数界限是什么？
• RQ3 先前对子模函数逼近的 O(1/ε²) 上限是否可以改进？若可以，改进幅度如何？
• RQ4 子模函数与 XOS 函数的谱集中度是否与一般自有界函数存在根本性差异？
• RQ5 所推导的度数界限是否可用于构建子模函数与 XOS 函数的近乎最优 PAC 学习算法？

主要发现

• 对于任意子模函数 f: {0,1}ⁿ → [0,1]，在 ℓ₂ 范数中实现 ε-逼近所需的次数为 O(log(1/ε)/ε⁴/⁵)，且该界限在对数因子范围内是紧致的。
• 存在一个子模函数，其实现 ε-逼近所需的次数为 Ω(1/ε⁴/⁵)，与上界在对数因子范围内一致。
• 对于任意 XOS 函数 f: {0,1}ⁿ → [0,1]，在 ℓ₂ 范数中实现 ε-逼近所需的次数为 O(1/ε)，且该界限是紧致的。
• 存在一个 XOS 函数，其实现 ε-逼近所需的次数为 Ω(1/ε)，证实了上界的紧致性。
• 结果优于先前对子模函数与 XOS 函数的 O(1/ε²) 上限，弥合了与先前对单调子模函数的 Ω(1/ε²/³) 下限之间的差距。
• 子模函数与 XOS 函数的谱集中度界限无法推广至更广泛的自有界函数类，因为后者需要 Ω(1/ε²) 次数，显示出根本性的结构差异。