[论文解读] Optimal rates of aggregation in classification

Guillaume Lecué|arXiv (Cornell University)|Mar 17, 2006

Statistical Methods and Inference被引用 5

一句话总结

本文在边界假设下建立了二值分类中凸聚合与模型选择聚合的最优速率。通过使用指数权重聚合，其在铰链风险和超出贝叶斯风险方面均实现了最优速率，为分类设置下的聚合程序提供了理论保证。

ABSTRACT

In the same spirit as Tsybakov [2003], we define the optimality of an aggregation procedure in the problem of classification. Using an aggregate with exponential weights, we obtain an optimal rate of convex aggregation for the hinge risk under the margin assumption. Moreover we obtain an optimal rate of model selection aggregation under the margin assumption for the excess Bayes risk.

研究动机与目标

• 定义并分析分类聚合中最优性的框架，扩展Tsybakov（2003）的理论体系。
• 在边界假设下，建立铰链风险的凸聚合最优速率。
• 在相同假设下，推导超出贝叶斯风险的模型选择聚合最优速率。
• 为分类问题中使用指数加权进行聚合提供理论依据。

提出的方法

• 采用Tsybakov（2003）的框架，定义分类聚合中的最优性。
• 使用指数权重聚合来组合多个分类器。
• 通过边界假设控制分类误差的尾部行为。
• 利用集中不等式和指数权重的性质推导风险界。
• 区分凸聚合与模型选择聚合，分别为两者推导独立的最优速率。
• 理论推导聚焦于以边界参数表示超出风险的上界。

实验结果

研究问题

• RQ1 在边界假设下，分类中铰链风险的凸聚合最优速率是什么？
• RQ2 在边界假设下，分类中超出贝叶斯风险的模型选择聚合最优速率是什么？
• RQ3 指数权重聚合是否能在凸聚合与模型选择设置下均实现这些最优速率？
• RQ4 边界假设如何影响分类中聚合可实现的速率？

主要发现

• 本文证明，指数权重聚合在边界假设下可实现铰链风险的凸聚合最优速率。
• 本文证明，同一方法在边界假设下可实现超出贝叶斯风险的模型选择聚合最优速率。
• 最优速率以边界参数表示，表明当边界远离零时收敛速度得到改善。
• 结果证实，指数加权在分类中凸聚合与模型选择聚合方面均为极小极大最优策略。
• 理论界是紧致的，且在边界假设下与已知下界一致。
• 分析表明，边界假设显著提升了聚合程序的收敛速率。