[论文解读] Perceptron Mistake Bounds

Mehryar Mohri, Afshin Rostamizadeh|arXiv (Cornell University)|May 1, 2013

Machine Learning and Algorithms参考文献 6被引用 12

一句话总结

本文提出了感知机与核感知机算法的新型误分类界，将现有结果从基于间隔的损失推广至任意凸且Lipschitz连续的损失函数。通过在线到批量转换技术，推导出紧致的泛化保证，关键结果表明：误分类次数受任意参考权重向量所产生损失及数据几何结构的函数所限制。

ABSTRACT

We present a brief survey of existing mistake bounds and introduce novel bounds for the Perceptron or the kernel Perceptron algorithm. Our novel bounds generalize beyond standard margin-loss type bounds, allow for any convex and Lipschitz loss function, and admit a very simple proof.

研究动机与目标

• 将现有感知机算法的误分类界从基于间隔的损失推广至任意凸且Lipschitz连续的损失函数。
• 为线性与核感知机设置构建一个简洁统一的证明框架。
• 通过结合在线误分类界与在线到批量转换技术，在随机设置下提供泛化界。
• 通过引入基于L1-和L2-范数的损失向量界，将误分类界扩展至非可分数据。
• 通过将特征范数项替换为核矩阵的迹项，将这些界适配至核感知机。

提出的方法

• 引入一类称为γ-可接受损失的新损失函数类，其具有凸性、非负性、在零点严格为正，且为γ-Lipschitz连续。
• 通过望远镜求和论证与柯西-施瓦茨不等式，推导出L1-范数误分类界，将更新次数与参考权重向量上损失向量的L1-范数关联起来。
• 通过最小化损失向量中的二次表达式，建立L2-范数误分类界，得到包含损失向量L2-范数与数据更新范数的闭式界。
• 通过定理4.1（Cesa-Bianchi等，2004）应用在线到批量转换，将在线误分类界转化为高概率下的泛化界。
• 通过将更新中的‖xₜ‖²替换为K(xₜ,xₜ)，以及将∑‖xₜ‖²的平方根替换为更新集上核矩阵K的迹Tr[K]，将界适配至核感知机。
• 利用最终假设被选为所有中间假设中最小化惩罚风险的那个事实，从而实现泛化保证。

实验结果

研究问题

• RQ1 感知机算法的误分类界能否从基于间隔的损失推广至任意凸且Lipschitz连续的损失函数？
• RQ2 当数据不可分时，使用损失向量的L1-或L2-范数，感知机的最紧误分类界是什么？
• RQ3 如何将在线误分类界转换为随机设置下最终假设的高概率泛化界？
• RQ4 误分类界如何扩展至核感知机设置？界中的特征范数项被什么取代？
• RQ5 针对hinge损失或平方hinge损失等常见损失函数，所得泛化界能否显式且可解释？

主要发现

• L1-范数误分类界为：M ≤ (1/φγ(0)) × (‖Lφγ(u)‖₁ + γ√∑‖xₜ‖²)，其中对任意满足‖u‖ ≤ 1的u及任意γ-可接受损失φγ成立。
• L2-范数误分类界表达为：M ≤ (1/2) × (‖Lρ(u)‖₂ + √(‖Lρ(u)‖₂² + 4√∑‖xₜ‖² / ρ))²，其中对任意ρ > 0及满足‖u‖ ≤ 1的u成立。
• 对于零一律，经验误分类率受损失向量平均值的限制，从而可通过在线到批量转换实现泛化界。
• 最终假设Ẇ的泛化界为：Pr[y(Ẇ·x) < 0] ≤ inf_{ρ>0,‖u‖≤1} [ (‖Lρ(u)‖₂/2 + √(‖Lρ(u)‖₂²/4 + √∑‖xₜ‖² / ρ))² / T ] + 6√(log(2(T+1)/δ)/T)，以高概率成立。
• 在核感知机设置中，更新中√∑‖xₜ‖²的项被更新点上核矩阵K的迹Tr[K]所取代，从而可在再生核Hilbert空间中建立界。
• 所提界具有紧致性且易于计算，并通过允许任意凸且Lipschitz连续损失（而不仅限于基于间隔的损失）推广了现有结果。