[论文解读] ShareBoost: Efficient Multiclass Learning with Feature Sharing

Shai Shalev‐Shwartz, Yonatan Wexler+1 more|arXiv (Cornell University)|Sep 5, 2011

Domain Adaptation and Few-Shot Learning参考文献 42被引用 7

一句话总结

ShareBoost 是一种用于多类学习的新型提升算法，通过在各类之间共享特征，实现特征使用量相对于类别数量呈次线性增长的稀疏、高效预测器。其在 MNIST 数据集上实现了 0.47% 的误差率，仅使用 230 个锚点，展示了在训练和推理过程中极高的效率，同时在性能上与核 SVM 相当。

ABSTRACT

Multiclass prediction is the problem of classifying an object into a relevant target class. We consider the problem of learning a multiclass predictor that uses only few features, and in particular, the number of used features should increase sub-linearly with the number of possible classes. This implies that features should be shared by several classes. We describe and analyze the ShareBoost algorithm for learning a multiclass predictor that uses few shared features. We prove that ShareBoost efficiently finds a predictor that uses few shared features (if such a predictor exists) and that it has a small generalization error. We also describe how to use ShareBoost for learning a non-linear predictor that has a fast evaluation time. In a series of experiments with natural data sets we demonstrate the benefits of ShareBoost and evaluate its success relatively to other state-of-the-art approaches.

研究动机与目标

• 开发一种多类学习算法，即使类别数量增加，也能仅使用少量共享特征。
• 确保权重矩阵中非零特征列的数量随类别数量呈次线性增长。
• 设计一种方法，高效学习稀疏、易于评估的预测器，且泛化误差较低。
• 证明在真实多类问题（尤其是视觉和 NLP 任务）中，特征共享的有效性。
• 与当前最先进方法（如 L1 正则化模型和核 SVM）在准确率和效率方面进行有利比较。

提出的方法

• ShareBoost 使用前向贪心选择策略，迭代添加最能提升多类分类性能的特征。
• 其保持一个权重矩阵 W ∈ ℝ^{k×d}，其中行对应类别，列对应特征，并选择能降低整体分类误差的特征。
• 该算法基于 0-1 损失的凸代理损失函数进行优化，通过基于梯度的更新实现高效优化。
• 通过使用锚点和局部线性分类器的分段线性构造，推广至非线性预测器。
• 每轮中，ShareBoost 从离散搜索空间中选择一个锚点和半径，构建在邻域内激活的局部线性分类器。
• 最终预测器通过类别最大值决策规则组合多个局部线性分类器：h(x) = argmax_y (Σ_j 1{||x−v^(j)||<r^(j)} (W_y^(j)x + b_y^(j)))。

实验结果

研究问题

• RQ1 能否设计一种多类学习算法，使所用特征数量随类别数量呈次线性增长？
• RQ2 与 L1 正则化或混合范数方法相比，共享特征的贪心选择策略是否能带来更好的泛化能力和效率？
• RQ3 ShareBoost 是否能在 MNIST 等基准数据集上实现 SOTA 准确率，同时保持快速推理和低特征数量？
• RQ4 在所需类似支持向量元素（锚点）数量方面，ShareBoost 与核 SVM 相比在性能和效率上表现如何？
• RQ5 能否通过特征共享和局部线性模型高效学习非线性预测器？

主要发现

• ShareBoost 在 MNIST 数据集上实现了 0.47% 的测试误差率，相当于在 10,000 个测试样本中犯了 47 个错误。
• 该算法仅需 230 个锚点即可达到此性能，显著少于核 SVM 通常所需的支撑向量数量。
• 经过 75 轮训练，ShareBoost 的误差率低于 1%，表明其收敛速度快。
• 该方法将乘加操作（MAC）数量减少至约 330 万个，相比顶尖 MNIST 方法的 750 万个，显示出更优的推理效率。
• ShareBoost 的性能与高斯核 SVM 相当，但使用了更稀疏的预测器，且特征设计工作量极小。
• 所选特征和权重列揭示了可解释的模式，例如特定模板被数字 '8'、'9' 和 '5' 共享。