[论文解读] The Convergence Rate of Majority Vote under Exchangeability

Miles E. Lopes|arXiv (Cornell University)|Mar 4, 2013

Bayesian Methods and Mixture Models参考文献 46被引用 4

一句话总结

本文在可交换性条件下建立了二分类中多数投票的收敛速率，表明误差率以 err* + c/t + o(1/t) 的形式收敛至其极限，其中 c 是由模型特性导出的常数。该结果进一步推广至可交换的伯努利序列，证明当混合分布 F 光滑时，期望多数投票的收敛形式为 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t)。

ABSTRACT

Majority vote plays a fundamental role in many applications of statistics, such as ensemble classifiers, crowdsourcing, and elections. When using majority vote as a prediction rule, it is of basic interest to ask How many votes are needed to obtain a reliable prediction? In the context of binary classification with Random Forests or Bagging, we give a precise answer: If err_t denotes the test error achieved by the majority vote of t \geq 1 classifiers, and err* denotes its nominal limiting value, then under basic regularity conditions, err_t = err* + c/t + o(1/t), where c is a constant given by a simple formula. More generally, we show that if V_1,V_2,... is an exchangeable Bernoulli sequence with mixture distribution F, and the majority vote is written as M_t=median(V_1,...,V_t), then 1-\E[M_t] = F(1/2)+ (F(1/2)/8)(1/t)+o(1/t) when F is sufficiently smooth.

研究动机与目标

• 确定在二分类中实现可靠多数投票预测所需的分类器数量。
• 分析在可交换性条件下，多数投票误差向其极限值收敛的速率。
• 将收敛行为推广至独立同分布设置之外，适用于具有混合分布的可交换伯努利序列。
• 以分类器数量 t 为变量，推导期望多数投票性能的显式渐近展开式。
• 建立收敛速率为精确 1/t 且常数可计算的条件。

提出的方法

• 该分析将多数投票建模为一系列可交换伯努利随机变量 V_1, V_2, ..., V_t 的中位数。
• 假设该序列具有共同的混合分布 F，允许分类器之间存在依赖性。
• 通过使用期望中位数的二阶展开，推导出当 t 增大时 𝔼[M_t] 的渐近行为。
• 关键方程为 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t)，该式在 F 满足光滑性条件时成立。
• 该方法依赖于正则性条件，以确保混合分布 F 足够光滑，从而支持渐近展开。
• 误差展开式中常数 c 的表达式以 F 及其导数的形式显式给出。

实验结果

研究问题

• RQ1 随着分类器数量的增加，多数投票分类器的测试误差向其极限值收敛的速度如何？
• RQ2 对于可交换分类器，期望多数投票性能的精确渐近展开式是什么？
• RQ3 收敛速率如何依赖于分类器输出的底层混合分布 F？
• RQ4 在何种条件下误差衰减为 1/t 且常数可计算？
• RQ5 收敛速率是否可推广至独立同分布分类器之外的可交换序列？

主要发现

• 多数投票的测试误差以 err_t = err* + c/t + o(1/t) 的形式收敛至其极限值，其中 c 是依赖于模型结构的常数。
• 对于具有光滑混合分布 F 的可交换伯努利序列，期望多数投票满足 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t)。
• 收敛速率恰好为 1/t，且二阶项显式表示为 (F(1/2)/8)(1/t)。
• 该结果在基本正则性条件下成立，特别是混合分布 F 的光滑性。
• 误差展开中的常数 c 以闭式表达，可精确预测收敛行为。
• 研究结果可直接应用于随机森林和装袋等集成方法，其中分类器输出具有可交换性。