[论文解读] Sample and Computationally Efficient Learning Algorithms under S-Concave Distributions

Maria-Florina Balcan, Hongyang Zhang|arXiv (Cornell University)|Mar 22, 2017

Machine Learning and Algorithms被引用 9

一句话总结

本文提出了在 s-凹分布下线性分类器与半空间交集分类器的样本高效与计算高效的学习算法，s-凹分布是一类广泛分布，推广了对数凹分布及重尾分布（如 t-分布和帕累托分布）。通过开发新的凸几何工具，作者建立了分歧概率与分歧系数的界，从而显著推广了以往在基于间隔、基于分歧及被动-主动学习框架下于此类分布中的结果。

ABSTRACT

We provide new results for noise-tolerant and sample-efficient learning algorithms under $s$-concave distributions. The new class of $s$-concave distributions is a broad and natural generalization of log-concavity, and includes many important additional distributions, e.g., the Pareto distribution and $t$-distribution. This class has been studied in the context of efficient sampling, integration, and optimization, but much remains unknown about the geometry of this class of distributions and their applications in the context of learning. The challenge is that unlike the commonly used distributions in learning (uniform or more generally log-concave distributions), this broader class is not closed under the marginalization operator and many such distributions are fat-tailed. In this work, we introduce new convex geometry tools to study the properties of $s$-concave distributions and use these properties to provide bounds on quantities of interest to learning including the probability of disagreement between two halfspaces, disagreement outside a band, and the disagreement coefficient. We use these results to significantly generalize prior results for margin-based active learning, disagreement-based active learning, and passive learning of intersections of halfspaces. Our analysis of geometric properties of $s$-concave distributions might be of independent interest to optimization more broadly.

研究动机与目标

• 将噪声容忍且样本高效的算法从对数凹分布推广至更广泛的 s-凹分布类别。
• 解决 s-凹分布不满足边缘化封闭性且常具有重尾的挑战，从而复杂化了以往的算法假设。
• 开发新的凸几何工具，以分析与学习理论相关的 s-凹分布的几何性质。
• 将现有基于间隔的主动学习、基于分歧的主动学习以及半空间交集的被动学习结果推广至 s-凹设置。
• 在 s-凹分布下建立紧致的样本复杂度与标签复杂度界，包括下界。

提出的方法

• 引入一类新的 s-凹分布，其定义为 f(x)^s 的凹性（s < 0），从而推广对数凹分布。
• 开发新颖的凸几何工具，以分析 s-凹分布下的边缘化性质与超平面分歧。
• 在各向同性 s-凹分布下，建立两个半空间分歧概率与分歧系数的闭式界。
• 利用这些几何界，推导出主动学习与被动学习算法的样本复杂度与标签复杂度保证。
• 设计并分析三种新算法：在可实现与噪声设定下的基于间隔的主动学习，以及在 s-凹分布下的半空间交集学习。
• 利用集中不等式与伪维数界，证明所提学习过程的泛化性与一致性。

实验结果

研究问题

• RQ1 如何在更广泛的 s-凹分布类别（包括 t-分布与帕累托等重尾分布）下，使学习算法具备样本高效与计算高效？
• RQ2 s-凹分布的根本几何特性是什么，使其能够实现对分歧概率与分歧系数的更紧界？
• RQ3 现有针对半空间的主动学习与被动学习算法在多大程度上可推广至 s-凹分布？其带来的样本复杂度与标签复杂度改进为何？
• RQ4 与对数凹分布及近似对数凹分布相比，s-凹分布的几何特性在算法可行性与性能方面有何异同？
• RQ5 在 s-凹分布下，学习齐次半空间的信息论下界（样本与标签复杂度）是什么？

主要发现

• 在 m 个变量上，各向同性 s-凹分布的边缘分布为各向同性 γ(s,m)-凹分布，建立了边缘化下的弱封闭性。
• 对于任意两个单位向量 u 与 v，分歧概率 Pr[sign(u·x) ≠ sign(v·x)] 的下界为 f₁(s,n)θ(u,v)，其中 θ(u,v) 为二者夹角。
• 在 s-凹分布下，分歧系数被 f₃(s,n) 所界，从而在主动学习中可实现更优的泛化界。
• 在 s-凹分布下，齐次线性分类器的被动 PAC 学习样本复杂度为 Ω(n log(f₁(s,n)/ε))，与已知下界在对数因子内一致。
• 在 s-凹分布下，主动学习的标签复杂度为 Ω(log M_D(C,ε))，表明该类下存在信息论上可能的改进。
• 所提算法实现了对先前对数凹与近似对数凹分布结果的推广与改进，其样本与标签复杂度界更具优势。