[论文解读] Oracle inequalities for computationally adaptive model selection

Alekh Agarwal, Peter L. Bartlett+1 more|arXiv (Cornell University)|Aug 1, 2012

Advanced Bandit Algorithms Research参考文献 28被引用 13

一句话总结

本文从计算角度提出模型选择的新视角，设计了在固定计算预算下自适应地在函数类之间选择的算法。它建立了理论 oracle 不等式，表明所选模型的风险几乎是最优的，即使各类计算时间不同，其与最优类的差距也仅有一个对数惩罚项。

ABSTRACT

We analyze general model selection procedures using penalized empirical loss minimization under computational constraints. While classical model selection approaches do not consider computational aspects of performing model selection, we argue that any practical model selection procedure must not only trade off estimation and approximation error, but also the computational effort required to compute empirical minimizers for different function classes. We provide a framework for analyzing such problems, and we give algorithms for model selection under a computational budget. These algorithms satisfy oracle inequalities that show that the risk of the selected model is not much worse than if we had devoted all of our omputational budget to the optimal function class.

研究动机与目标

• 为弥合经典模型选择中的空白，将计算成本作为关键约束条件。
• 开发兼顾估计误差、近似误差与计算投入的模型选择算法。
• 通过 oracle 不等式提供理论保证，证明所选模型的表现几乎等同于将全部计算资源集中于最优类的情况。
• 处理复杂模型训练成本高昂的场景，需在模型丰富度与每类的数据规模之间权衡。

提出的方法

• 将模型选择建模为近似误差、估计误差与计算成本之间的权衡，且总计算量有固定预算。
• 使用分层的函数类族 $\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \cdots$，并自适应地为每个类分配计算资源。
• 采用带复杂度惩罚 $\gamma_i(n)$ 的惩罚经验风险最小化框架，惩罚项依赖于样本量与模型类。
• 应用类似多臂赌博机的策略，在各类之间动态分配计算资源，根据性能与成本选择当前训练的类。
• 利用集中不等式与分配策略的遗憾分析，推导最终模型风险的高概率界。
• 结合 Jensen 不等式与尾部概率界，控制平均输出模型 $\widehat{f}_T$ 的期望风险。

实验结果

研究问题

• RQ1 如何使模型选择适应计算约束，而不仅依赖于样本量？
• RQ2 当计算成为主要瓶颈时，模型选择的理论性能极限是什么？
• RQ3 当不同类模型的拟合计算成本不同时，能否实现类似 oracle 的风险界？
• RQ4 在固定预算下，如何在不同模型类之间分配计算资源以最小化超额风险？
• RQ5 自适应分配对所选模型收敛速度有何影响？

主要发现

• 所选模型的风险以高概率被限制在最优类风险加上关于类数 $K$ 的对数惩罚项之内。
• 超额风险以 $O(T^{-\min\{\alpha, 1/2\}})$ 的速率衰减，其中 $T$ 为总计算轮次。
• 即使复杂模型训练成本高昂，该方法仍能实现近似最优的近似误差与估计误差之间的权衡。
• 最终模型的风险被界定为 $R^* + \gamma_{i^*}(Tn_{i^*}) + O(T^{-1/\beta}\sqrt{\log T})$，其中 $\beta$ 控制分配策略的遗憾。
• 该界包含一项 $C' T^{1-\min\{\alpha,1/2\}} \left(\sum_{i=1}^K [c_i n_i^{-\alpha} + \cdots]^{\max\{1/\alpha,2\}}\right)^{\min\{\alpha,1/2\}}$，量化了自适应分配的成本。
• 以高概率 $1 - \kappa_1/(TK^3)$，平均模型 $\widehat{f}_T$ 实现了近似最优风险，表明对计算约束具有鲁棒性。