[论文解读] Online Optimization of Smoothed Piecewise Constant Functions

Vincent Cohen-Addad, Varun Kanade|arXiv (Cornell University)|Apr 7, 2016

Advanced Bandit Algorithms Research参考文献 16被引用 5

一句话总结

本文提出了一种新颖的在线优化框架，用于在[0,1)上对平滑的分段常数函数进行优化，其中不连续点的位置受有界不确定性（密度 ≤ σ）约束。该框架提出了一种高效算法，采用连续指数加权预测器与区间树数据结构，实现在完整信息设置下的Õ(√T)遗憾，以及在bandit设置下的次线性遗憾，即使目标函数是非Lipschitz且组合上不连续的。

ABSTRACT

We study online optimization of smoothed piecewise constant functions over the domain [0, 1). This is motivated by the problem of adaptively picking parameters of learning algorithms as in the recently introduced framework by Gupta and Roughgarden (2016). Majority of the machine learning literature has focused on Lipschitz-continuous functions or functions with bounded gradients. 1 This is with good reason---any learning algorithm suffers linear regret even against piecewise constant functions that are chosen adversarially, arguably the simplest of non-Lipschitz continuous functions. The smoothed setting we consider is inspired by the seminal work of Spielman and Teng (2004) and the recent work of Gupta and Roughgarden---in this setting, the sequence of functions may be chosen by an adversary, however, with some uncertainty in the location of discontinuities. We give algorithms that achieve sublinear regret in the full information and bandit settings.

研究动机与目标

• 解决在组合学习问题（如0-1背包、最大权独立集、k均值）中出现的非Lipschitz、分段常数函数的在线优化挑战。
• 克服现有方法的局限性——即假设Lipschitz连续性或有界梯度，这些方法在不连续目标函数上失效。
• 在平滑对手模型下设计一种无遗憾的在线学习算法，其中不连续点位置在有界密度σ内不确定。
• 即使目标函数缺乏平滑性，仍实现在完整信息与bandit设置下的次线性遗憾。
• 设计一种计算高效的算法，每轮时间复杂度为O(k log(kt))，避免了随t呈多项式增长的运行时间。

提出的方法

• 将对手建模为选择具有不连续点的分段常数函数，其位置从密度 ≤ σ 的分布中抽取，引入不确定性以避免最坏情况下的“针尖藏 haystack”问题。
• 使用连续指数加权预测器作为核心算法机制，并针对分段常数收益函数进行适配。
• 通过区间树或红黑树实现算法，高效维护与查询活跃区间，实现每轮O(k log(kt))的更新时间。
• 在bandit设置中，通过受Exp.4启发的技术进行扩展，适应部分反馈，同时保持次线性遗憾。
• 设计一种支持[0,1)域上动态区间更新与点查询的数据结构，对高效维护权重与选择动作至关重要。
• 通过将贪婪启发式方法参数化为参数ρ，将该框架应用于0-1背包、最大权独立集与加权k均值等实际问题。

实验结果

研究问题

• RQ1 能否在组合机器学习问题中出现的非Lipschitz、分段常数函数上有效执行在线优化？
• RQ2 在不连续点位置引入有界不确定性（即平滑对手）是否能确保尽管存在不连续性，仍可实现在线学习中的次线性遗憾？
• RQ3 能否设计出每轮运行时间为多对数时间的高效在线算法，即使目标函数不连续？
• RQ4 在平滑对手模型下，完整信息与bandit设置中可达到的最优遗憾界是什么？
• RQ5 与最坏情况理论界相比，所提算法在0-1背包、MWIS与加权k均值等实际问题上的实际表现如何？

主要发现

• 所提算法在平滑对手模型下的完整信息设置中实现了Õ(√T)遗憾，接近在线学习的最优界限。
• 该算法每轮运行时间为O(k log(kt))，计算高效且可扩展，优于朴素实现中随T呈多项式增长的运行时间。
• 在0-1背包、MWIS与加权k均值上的实验结果表明，每轮遗憾迅速下降，且显著低于最坏情况理论边界。
• 在100次实验运行中，遗憾的方差极小，表明算法在随机实例下具有高度鲁棒性与稳定性。
• 该框架成功处理了非光滑、组合上不连续的目标函数（如k均值与独立集问题），而标准Lipschitz方法在此类问题上失效。
• 平滑对手模型确保包含所有最优点的最小区间在T中为多项式大小，从而避免了信息论上的学习不可能性。