[论文解读] Online Improper Learning with an Approximation Oracle

Elad Hazan, Wei Hu+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Bandit Algorithms Research被引用 10

一句话总结

本文提出了一种将在线学习问题转化为离线近似优化问题的新方法，使得每轮迭代仅需对近似预言机调用对数次，即可实现高效的在线学习。该方法解决了Kalai与Vempala以及Garber提出的一个开放性问题，在非严格学习设定下实现了近乎最优的遗憾，且预言机调用效率极高。

ABSTRACT

We study the following question: given an efficient approximation algorithm for an optimization problem, can we learn efficiently in the same setting? We give a formal affirmative answer to this question in the form of a reduction from online learning to offline approximate optimization using an efficient algorithm that guarantees near optimal regret. The algorithm is efficient in terms of the number of oracle calls to a given approximation oracle – it makes only logarithmically many such calls per iteration. This resolves an open question by Kalai and Vempala, and by Garber. Furthermore, our result applies to the more general improper learning problems.

研究动机与目标

• 解决一个开放性问题：高效的近似算法是否能够支持高效的在线学习。
• 设计一种从在线学习到离线近似优化的约化方法，同时保持较低的遗憾。
• 确保所提出的算法在预言机查询方面具有高效性，每轮迭代仅进行对数次查询。
• 将适用范围扩展至非严格学习问题，其中预测结果可能不在原始假设类中。
• 对“近似预言机是否能够支持高效的在线学习”这一问题给出形式化的肯定回答。

提出的方法

• 该方法采用一种精心设计的迭代更新规则，将在线学习问题约化为离线近似优化问题。
• 利用分离预言机与对偶平均框架，在每轮仅使用对数次预言机调用的前提下，维持遗憾界。
• 算法维护一个假设集合上的概率分布，并根据反馈信息进行更新，利用近似预言机高效计算近似最优解。
• 该方法确保遗憾随时间呈次线性增长，即使使用近似解，也能实现近乎最优的性能。
• 提出一种新颖的分析技术，将遗憾界以预言机的近似比和迭代次数的形式进行界定。
• 该方法具有通用性，适用于广泛的非严格学习问题，不局限于特定的假设类。

实验结果

研究问题

• RQ1 一个优化问题的高效近似算法是否可用于实现高效的在线学习？
• RQ2 在在线学习中，为维持近乎最优的遗憾，每轮迭代所需的最少预言机调用次数是多少？
• RQ3 能否使从在线学习到近似离线优化的约化方法在预言机使用方面足够高效？
• RQ4 该方法是否可扩展至非严格学习场景，即假设类在凸组合下不封闭？
• RQ5 是否能仅通过每轮迭代的对数次预言机调用，将遗憾界进行控制并保持近乎最优？

主要发现

• 所提出的算法仅需每轮迭代对数次预言机调用，即可实现近乎最优的遗憾，显著优于先前方法。
• 该约化方法具有通用性，适用于非严格学习问题，扩展了近似预言机在在线学习中的适用范围。
• 该方法解决了Kalai与Vempala以及Garber提出的一个开放性问题，即使用近似预言机是否可行实现高效的在线学习。
• 遗憾界为次线性，且依赖于预言机的近似比，确保了可扩展性与高效性。
• 算法通过避免重复进行昂贵的优化计算，仅依赖高效的预言机查询，保持了计算效率。
• 理论分析证实，即使使用近似解，该方法仍能实现接近最优基准的遗憾。