[论文解读] Quit When You Can: Efficient Evaluation of Ensembles with Ordering Optimization

Serena Wang, Maya R. Gupta+1 more|arXiv (Cornell University)|Jun 28, 2018

Machine Learning and Data Classification参考文献 19被引用 3

一句话总结

本文提出 Quit When You Can (QWYC)，一种贪心算法，联合优化分类器集成中基模型的评估顺序与早停阈值，以在保持完整集成准确率的前提下最小化平均评估时间。该方法在实践中实现了 2 倍至 4 倍的加速，并在某些情况下提供 4-近似保证，优于启发式排序和先前的方法（如 Fan et al. (2002)）。

ABSTRACT

Given a classifier ensemble and a set of examples to be classified, many examples may be confidently and accurately classified after only a subset of the base models in the ensemble are evaluated. This can reduce both mean latency and CPU while maintaining the high accuracy of the original ensemble. To achieve such gains, we propose jointly optimizing a fixed evaluation order of the base models and early-stopping thresholds. Our proposed objective is a combinatorial optimization problem, but we provide a greedy algorithm that achieves a 4-approximation of the optimal solution for certain cases. For those cases, this is also the best achievable polynomial time approximation bound unless $P = NP$. Experiments on benchmark and real-world problems show that the proposed Quit When You Can (QWYC) algorithm can speed-up average evaluation time by $2$x--$4$x, and is around $1.5$x faster than prior work. QWYC's joint optimization of ordering and thresholds also performed better in experiments than various fixed orderings, including gradient boosted trees' ordering.

研究动机与目标

• 在不牺牲准确率的前提下，减少集成分类的平均推理延迟与计算成本。
• 解决对每个样本均评估所有基模型的低效问题，特别是当某些样本可被子集快速分类时。
• 联合优化模型排序与早停阈值，而非依赖启发式排序或固定剪枝策略。
• 开发一种实用且可扩展的动态集成剪枝算法，可应用于真实世界与基准数据集。
• 证明联合优化排序与阈值相较于预选排序结合现有早停机制能取得更优性能。

提出的方法

• 提出一种组合优化目标，联合选择 T 个基模型的最优评估顺序与 2T 个早停阈值（正类与负类），以最小化平均评估模型数量。
• 引入一种简单的早停规则：若在 r 个模型后累计得分超过第 r 个正类阈值 ε⁺_r，则分类为正类；否则继续评估。
• 设计一种名为 Quit When You Can (QWYC) 的贪心算法，近似最优解，在某些集成类型下实现 4-近似。
• 在标准复杂度假设下（除非 P=NP），该 4-近似界是紧致的，意味着这是该问题类别的最佳可能多项式时间近似。
• 将该方法应用于独立训练与联合训练的集成，包括包含未标记测试数据的真实世界生产系统。
• 将框架扩展至 QWYC*，可在无需标记测试数据的情况下优化排序与阈值，从而实现在数据稀缺生产环境中的部署。

实验结果

研究问题

• RQ1 联合优化模型排序与早停阈值是否能显著减少集成模型的平均评估时间？
• RQ2 该联合优化问题在多项式时间内可达到的理论近似界是什么？
• RQ3 QWYC 与结合早停的启发式排序策略（如准确率、多样性、梯度提升顺序）相比表现如何？
• RQ4 该方法是否能在真实世界环境中有效应用，即使缺乏标记测试数据？
• RQ5 联合优化是否优于如 Fan et al. (2002) 的最先进方法，特别是在采用更灵活的早停标准时？

主要发现

• QWYC 在基准数据集与真实世界数据集上均实现了平均评估时间 2 倍至 4 倍的加速，且保持了完整的集成准确率。
• QWYC 联合优化排序与阈值，在评估时间与准确率权衡方面优于所有固定排序策略，包括梯度提升树排序。
• QWYC* 在真实世界系统中，即使无标记测试数据，也实现了比 Fan et al. (2002)* 快 1.8 倍至 4 倍的推理速度。
• 在标准复杂度假设下，4-近似界是最优的，意味着除非 P=NP，否则无法实现更优的多项式时间近似。
• 即使基模型高度相似（如独立训练的集成），该方法仍有效，而随机排序表现较差。
• QWYC 的联合优化优于将 Fan et al. (2002) 的灵活早停阈值与任何预选排序结合，证明了联合设计的价值。