[论文解读] Time-Space Tradeoffs for Learning from Small Test Spaces: Learning Low Degree Polynomial Functions

Paul Beame, Shayan Oveis Gharan+1 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Algorithms参考文献 4被引用 6

一句话总结

该论文通过引入一种精细化的矩阵范数分析方法，测量概率分布的2-范数放大效应，建立了在𝔽₂上学习低次多项式函数的紧致时空权衡下界。证明了学习m元齐次d次多项式需要Ω(mn)空间或2^Ω(m)时间，其中n = m^Θ(d)，与自然算法的复杂度相匹配，并将先前工作扩展至小测试空间的情形。

ABSTRACT

We develop an extension of recently developed methods for obtaining time-space tradeoff lower bounds for problems of learning from random test samples to handle the situation where the space of tests is signficantly smaller than the space of inputs, a class of learning problems that is not handled by prior work. This extension is based on a measure of how matrices amplify the 2-norms of probability distributions that is more refined than the 2-norms of these matrices. As applications that follow from our new technique, we show that any algorithm that learns $m$-variate homogeneous polynomial functions of degree at most $d$ over $\mathbb{F}_2$ from evaluations on randomly chosen inputs either requires space $Ω(mn)$ or $2^{Ω(m)}$ time where $n=m^{Θ(d)}$ is the dimension of the space of such functions. These bounds are asymptotically optimal since they match the tradeoffs achieved by natural learning algorithms for the problems.

研究动机与目标

• 通过解决测试空间显著小于输入空间的学习问题，填补现有时空权衡下界中的空白。
• 将先前基于矩阵的分析技术扩展至测试数量在输入维数上为亚指数级的情形。
• 为在𝔽₂上学习齐次低次多项式函数建立渐近最优的时空权衡。
• 将框架推广至多值输出和素数域，以超越二值输出的更广泛应用。

提出的方法

• 引入一种精细化的矩阵2-范数放大度量，追踪矩阵如何变换概率分布的2-范数，超越标准矩阵2-范数。
• 定义2-范数放大曲线τ_M(δ)以量化矩阵乘法下2-范数的增长，从而分析空间有界算法中的学习进展。
• 使用半定松弛技术来约束表示测试-输出映射的矩阵M中行范数的分布，特别是针对𝔽₂上的Reed-Muller码。
• 对多值输出采用复矩阵表示，用单位根替代二值指示函数，将分析推广至r元输出。
• 利用特征和∑ₐ∈𝔽ₚᵐ ω^p(a)的界（其中ω = e²πi/p）分析多项式取值的平衡性，并推导下界。
• 改编Raz（2016）和Moshkovitz & Moshkovitz（2017）的框架，通过分析学习分支程序中的一致子空间和路径截断，处理结构化的测试空间。

实验结果

研究问题

• RQ1 时空权衡下界能否扩展至测试空间比输入空间指数级小的学习问题？
• RQ2 何种精细化的矩阵范数度量可实现对小测试空间下空间有界算法学习进展的更紧致分析？
• RQ3 当可能的测试数量为亚指数级时，学习𝔽₂上低次多项式函数的时空权衡是否与奇偶性学习相同？
• RQ4 该框架能否推广至多值输出和𝔽₂以外的素数域？
• RQ5 对多项式取值分布的何种条件可确保仅可忽略的少量码字接近平衡，从而支持强下界？

主要发现

• 任何从随机取值中学习𝔽₂上m元齐次d次多项式算法，均需Ω(mn)空间或2^Ω(m)时间，其中n = m^Θ(d)为函数空间的维数。
• 所推导的权衡为渐近最优，与自然算法的复杂度一致：这些算法或存储O(mn)个样本，或在2^O(m)个输入上进行穷举搜索。
• 证明了2-范数放大曲线τ_M(δ)被一个依赖于d的常数远离零，从而在d随m增长时可导出指数级下界。
• 对于具有r个取值的多值输出，通过复矩阵表示和单位根推广了分析，其中二值指示函数中的1/2被1/r替代。
• 该方法在𝑝 > 2的素数域上学习时仍能产生非平凡下界，尽管目前对特征和的界尚不足以达到𝔽₂情形下的强度。
• 该框架成功将奇偶性学习的先前工作推广至结构化测试空间，解决了关于小测试空间下学习中非线性空间阈值的开放问题。