[论文解读] Totally Corrective Boosting with Cardinality Penalization

Vasil S. Denchev, Nan Ding+3 more|arXiv (Cornell University)|Apr 7, 2015

Quantum Computing Algorithms and Architecture参考文献 22被引用 5

一句话总结

本文提出TotalQBoost，一种完全校正的提升算法，通过基数惩罚（CP）显式强制实现稀疏性，求解非凸、组合优化问题，从而获得显著更稀疏且更准确的模型。尽管使用经典启发式优化器作为量子硬件的替代方案，实验表明基于CP的模型在基准数据集上相比L1正则化和早停基线模型，稀疏性提升最高达67.65%，泛化性能提升最高达25%。

ABSTRACT

We propose a totally corrective boosting algorithm with explicit cardinality regularization. The resulting combinatorial optimization problems are not known to be efficiently solvable with existing classical methods, but emerging quantum optimization technology gives hope for achieving sparser models in practice. In order to demonstrate the utility of our algorithm, we use a distributed classical heuristic optimizer as a stand-in for quantum hardware. Even though this evaluation methodology incurs large time and resource costs on classical computing machinery, it allows us to gauge the potential gains in generalization performance and sparsity of the resulting boosted ensembles. Our experimental results on public data sets commonly used for benchmarking of boosting algorithms decidedly demonstrate the existence of such advantages. If actual quantum optimization were to be used with this algorithm in the future, we would expect equivalent or superior results at much smaller time and energy costs during training. Moreover, studying cardinality-penalized boosting also sheds light on why unregularized boosting algorithms with early stopping often yield better results than their counterparts with explicit convex regularization: Early stopping performs suboptimal cardinality regularization. The results that we present here indicate it is beneficial to explicitly solve the combinatorial problem still left open at early termination.

研究动机与目标

• 开发一种通过基数惩罚（CP）显式强制实现稀疏性的提升算法，解决传统提升方法中通过早停实现隐式稀疏性的局限性。
• 证明直接求解组合CP问题可获得优于标准L1正则化或早停提升的模型稀疏性和泛化性能。
• 通过使用经典启发式方法模拟量子优化性能，评估量子优化在求解CP提升问题中的潜力。
• 分析为何在未正则化的提升中，早停常优于凸正则化，并将其解释为次优的基数正则化。
• 在真实应用场景中验证该方法，如在资源受限设备（如Google Project Glass）上实现紧凑级联检测器。

提出的方法

• 该方法将提升建模为带显式基数惩罚的正则化风险最小化问题：在满足 w ≥ 0 的条件下，最小化损失之和加上 w 的线性项与基数惩罚项 λ·card(w)。
• 采用完全校正方法，每次迭代中通过求解 t 维子问题来更新所有活跃弱分类器，不同于仅更新一个坐标的校正算法。
• 利用拉格朗日对偶性推导对偶函数，从而可应用列生成技术迭代构建模型。
• 使用分布式经典启发式优化器模拟量子优化，求解经典凸方法难以处理的NP难CP子问题。
• 在标准基准数据集和可穿戴设备的级联检测器上评估该方法，比较泛化误差、稀疏性和训练性能。
• 探索解的帕累托前沿，识别在稀疏性与泛化误差之间具有更优权衡的点。

实验结果

研究问题

• RQ1 在提升中显式应用基数惩罚是否能生成比L1正则化或早停提升更稀疏且更准确的模型？
• RQ2 直接求解组合CP问题是否能获得优于通过早停实现的次优正则化的更优泛化性能与稀疏性？
• RQ3 经典启发式求解器在多大程度上能模拟未来量子优化硬件在求解CP提升问题中的性能？
• RQ4 为何在未正则化的提升中，早停常优于凸正则化？CP优化如何解决这一问题？
• RQ5 CP提升是否能在资源受限环境（如移动设备和可穿戴设备）中实现实际性能提升？

主要发现

• 在基准数据集上，CP提升相比最稀疏的L1正则化模型，在保持相近泛化误差的前提下，稀疏性提升范围为2.5%至67.65%。
• 对于CP点，其泛化性能相比所有L1CG/UCG基线模型最高提升25%，尤其在flare solar（25%）和 twonorm（9.8%）数据集上表现显著。
• TotalQBoost (E) 与经典L1CG/UCG (B) 的对比显示，在相同基数下，其经验风险和训练误差仅分别低1.61%和2.05%，表明早停是CP的一种弱形式。
• 当比较TotalQBoost (E) 与UCG (D) 时，E在76.19%的案例中经验风险更优，在86.99%的案例中训练误差更优，表明CP优化可获得更优解。
• 在Project Glass上，CP增强的级联检测器在固定召回率下将误检率降低了15%至45%，证明其在内存与能效受限环境中的实际应用价值。
• 结果证实，早停仅实现次优的基数正则化，而显式求解CP问题可显著提升稀疏性与泛化性能。