[论文解读] Online Coordinate Boosting

Raphael Pelossof, Michael Jones+2 more|ArXiv.org|Oct 24, 2008

Face and Expression Recognition参考文献 10被引用 4

一句话总结

本文提出了一种新型在线提升算法——在线坐标提升（Online Coordinate Boosting, OCB），通过逐次更新弱分类器权重来近似批量AdaBoost，采用坐标化方式最小化AdaBoost的指数损失。通过推导出一种高效的近似方法，避免了耗时的全数据集计算，OCB在合成数据、人脸数据和MNIST数据集上均优于Oza与Russell的算法，近似误差和泛化性能更优，最优性能出现在400阶左右。

ABSTRACT

We present a new online boosting algorithm for adapting the weights of a boosted classifier, which yields a closer approximation to Freund and Schapire's AdaBoost algorithm than previous online boosting algorithms. We also contribute a new way of deriving the online algorithm that ties together previous online boosting work. We assume that the weak hypotheses were selected beforehand, and only their weights are updated during online boosting. The update rule is derived by minimizing AdaBoost's loss when viewed in an incremental form. The equations show that optimization is computationally expensive. However, a fast online approximation is possible. We compare approximation error to batch AdaBoost on synthetic datasets and generalization error on face datasets and the MNIST dataset.

研究动机与目标

• 开发一种快速且准确的在线学习算法，能够将预训练的提升分类器适应于新的数据流和概念漂移。
• 解决在在线设置中精确复现批量AdaBoost的计算不可行性，因其需要对全数据集重新评估。
• 通过逐步增加样本并更新权重，推导出AdaBoost损失最小化的合理在线近似方法。
• 在计算效率保持不变的前提下，改进如Oza与Russell的现有在线提升方法，降低近似误差。

提出的方法

• 通过逐次向训练集中添加一个样本，推导出AdaBoost指数损失的精确增量更新规则。
• 提出一种快速在线近似方法，通过使用贪婪的坐标化最小化策略，避免在全数据集上重新计算所有弱分类器的输出。
• 采用乘法权重更新规则来更新弱分类器，灵感源自Littlestone的Winnow算法以及Freund与Schapire的AdaBoost，但针对在线序列学习进行了适配。
• 为每个弱分类器存储并更新正确与错误分类样本权重的累积和，以在内存与速度约束下估计加权错误率。
• 引入一个称为“阶数”（order）的参数，控制近似中使用的过去样本数量，从而在准确度与计算成本之间实现权衡。
• 使用初始小批量数据的权重初始化算法，随后以流式方式持续适应新样本。

实验结果

研究问题

• RQ1 能否推导出一种在线提升算法，使其对批量AdaBoost的近似程度优于现有方法？
• RQ2 维持AdaBoost弱分类器权重精确在线更新的计算成本是多少？能否通过一种实用的近似方法加以缓解？
• RQ3 所提出的在线近似方法在近似误差与泛化误差方面，相较于Oza与Russell的算法表现如何？
• RQ4 ‘阶数’参数对近似准确度与计算效率之间权衡的影响是什么？
• RQ5 该算法能否在不区分离线与在线训练数据的前提下，实现有效初始化与适应？

主要发现

• 在合成数据集上，OCB在阶数为400时，近似误差显著低于Oza与Russell的算法，表明其对批量AdaBoost的保真度更高。
• 在正面人脸数据集上，OCB在阶数为400时，平均AUC（ROC曲线下面积）高于Oza与Russell的算法，表明其泛化性能更优。
• 在MNIST数据集上，OCB在所有数字上均表现出更低的测试误差（例如，数字0的误差为0.31%，而Oza为0.35%）和更低的近似误差（例如，数字0的误差为0.07%，而Oza为0.10%）。
• 对于人脸与MNIST分类器，最优阶数均为400，实现了近似准确度与计算成本的平衡。
• 算法性能对数据顺序不敏感，10个不同顺序排列的训练集上结果一致，表现出鲁棒性。
• 在高阶数时观察到权衡：尽管近似误差起初下降，但在阶数超过400后，由于贪婪最小化未能最优减少总误差，误差反而恶化。