[论文解读] Optimal Binary Classifier Aggregation for General Losses

Akshay Balsubramani, Yoav Freund|arXiv (Cornell University)|Oct 1, 2015

Face and Expression Recognition参考文献 14被引用 3

一句话总结

本文提出了一种在一般损失函数（包括凸损失与非凸损失）下，针对半监督学习中二元分类器聚合的极小化极大最优框架。该方法推导出一种决策规则，对通过凸优化计算的加权集成边际应用S型函数，实现无需松弛或模型假设的极小化极大最优性。

ABSTRACT

We address the problem of aggregating an ensemble of predictors with known loss bounds in a semi-supervised binary classification setting, to minimize prediction loss incurred on the unlabeled data. We find the minimax optimal predictions for a very general class of loss functions including all convex and many non-convex losses, extending a recent analysis of the problem for misclassification error. The result is a family of semi-supervised ensemble aggregation algorithms which are as efficient as linear learning by convex optimization, but are minimax optimal without any relaxations. Their decision rules take a form familiar in decision theory -- applying sigmoid functions to a notion of ensemble margin -- without the assumptions typically made in margin-based learning.

研究动机与目标

• 通过扩展至包括对数损失和成本加权损失在内的通用损失函数，解决先前研究仅限于误分类误差的局限性。
• 将集成聚合问题建模为预测器与对手之间的二人零和博弈，以确保最坏情况下的最优性。
• 开发一种可扩展且高效的算法，通过凸优化学习最优分类器权重，无需依赖特定模型假设。
• 通过基于预测覆盖度重新加权约束，将框架推广至异质集成，包括在部分数据子集上拒绝预测的专家分类器。
• 建立理论保证，表明最优预测规则仅依赖于损失函数与集成预测，而不依赖于任意超参数或松弛。

提出的方法

• 将问题建模为极小化极大博弈，其中预测器选择预测，对手在基于集成分类器性能导出的约束下设定未知的随机标签。
• 使用部分损失函数 ℓ₊(g) 和 ℓ₋(g) 定义期望损失 ℓ(zⱼ, gⱼ)，其基于标签的随机值 zⱼ ∈ [−1, 1] 构成凸组合。
• 通过凸对偶性推导对偶形式，将极小化极大问题转化为对偶变量 σ ∈ ℝᵖ 上的凸优化问题。
• 最优预测 gⱼ* 通过加权集成边际的S型函数计算：gⱼ* = g(σ*ᵀxⱼ)，其中 σ* 最小化一个正则化对偶目标。
• 对 σ 引入 L₁ 正则化以处理标签相关性偏差，实现鲁棒性，并对正则化参数 ε 进行交叉验证。
• 通过基于每分类器覆盖度权重 ρᵢ(xⱼ) 重新加权特征矩阵 F 为 S，将框架推广至专家分类器，同时保持理论保证。

实验结果

研究问题

• RQ1 我们能否为超出误分类误差的一般损失函数推导出极小化极大最优的集成聚合规则？
• RQ2 当损失函数为非凸或对假阳性和假阴性不对称时，如何保持最优性与效率？
• RQ3 最优预测规则在集成边际与损失几何结构方面具有何种形式？
• RQ4 如何将该框架扩展以处理在测试样本子集上拒绝预测的专家分类器？
• RQ5 所得到的算法能否通过凸优化高效实现，而无需松弛或启发式调参？

主要发现

• 每个测试样本的最优预测是集成预测线性组合的S型函数，由对偶变量 σ* 推导得出。
• 该方法对满足假设1（即部分损失单调）的所有损失函数均实现极小化极大最优性，无需凸性或对称性假设。
• 对偶优化问题是凸的且可扩展，最优权重 σ* 通过包含损失函数共轭的正则化目标最小化获得。
• 通过基于每分类器覆盖度重新加权特征矩阵 S 以反映覆盖情况，该框架可推广至异质集成，同时保持理论保证。
• 决策规则仅依赖于损失函数与集成预测结构，不包含自由参数或模型假设。
• 该方法统一并推广了先前关于误分类误差与适当损失（如对数损失）的研究成果，通过单一极小化极大框架实现统一。