[论文解读] Online optimization and regret guarantees for non-additive long-term constraints

Rodolphe Jenatton, Jim Huang+2 more|arXiv (Cornell University)|Feb 17, 2016

Advanced Bandit Algorithms Research被引用 6

一句话总结

该论文提出了一种用于具有非加法、长期约束的在线优化的在线原始-对偶算法，在1-lookahead设置下实现了动态遗憾保证。该研究建立了依赖于凸性、非加法惩罚项的平滑性以及约束残差变化的遗憾边界，在实时广告数据上表现出遗憾趋近于零，并在合成实验中相较于加法惩罚项展现了更优的权衡。

ABSTRACT

We consider online optimization in the 1-lookahead setting, where the objective does not decompose additively over the rounds of the online game. The resulting formulation enables us to deal with non-stationary and/or long-term constraints , which arise, for example, in online display advertising problems. We propose an on-line primal-dual algorithm for which we obtain dynamic cumulative regret guarantees. They depend on the convexity and the smoothness of the non-additive penalty, as well as terms capturing the smoothness with which the residuals of the non-stationary and long-term constraints vary over the rounds. We conduct experiments on synthetic data to illustrate the benefits of the non-additive penalty and show vanishing regret convergence on live traffic data collected by a display advertising platform in production.

研究动机与目标

• 解决在非加法、长期约束下耦合各轮动作的在线优化问题，特别是在非平稳环境中。
• 将动态遗憾分析扩展至非加法目标，实现对具有全局耦合约束问题的性能保证。
• 对现实世界中的在线广告系统进行建模，其中累积交付和目标约束是非加法且随时间变化的。
• 提供依赖于非加法惩罚项平滑性以及约束残差随时间变化的理论遗憾边界。
• 在合成数据和生产级展示广告平台的真实流量上对方法进行实证验证。

提出的方法

• 构建一种非加法、长期约束惩罚项的在线优化形式，该惩罚项耦合各轮动作，以捕捉全局性能指标。
• 开发一种在线原始-对偶延迟算法，通过对偶变量联合优化目标函数和约束惩罚项。
• 推导出依赖于非加法惩罚函数的凸性和平滑性以及约束残差时间变化的遗憾边界。
• 引入一个非加法惩罚函数 $\mathcal{E}$，将随时间累积的约束违反映射为单一标量惩罚。
• 利用强对偶性与共轭函数推导对偶问题，通过次梯度方法实现高效的在线更新。
• 采用1-lookahead设置，即在选择 $\mathbf{x}_t$ 之前已知奖励函数 $f_t$，从而在非加法约束下实现更优的决策。

实验结果

研究问题

• RQ1 当总成本为非加法且耦合各轮动作时，如何分析在线优化中的动态遗憾？
• RQ2 在非加法长期约束下，对在线原始-对偶算法可推导出何种理论遗憾保证？
• RQ3 非加法惩罚项的平滑性以及约束残差的时间变化如何影响遗憾边界？
• RQ4 在在线广告分配中，非加法惩罚项是否能在奖励-约束权衡上优于加法松弛？
• RQ5 所提出的算法是否在生产广告平台的真实流量数据上实现了遗憾趋近于零？

主要发现

• 所提出的在线原始-对偶算法在生产级展示广告平台的真实流量数据上实现了遗憾趋近于零，表明其在实践中具有强收敛性。
• 遗憾边界依赖于非加法惩罚函数的凸性和平滑性，以及约束残差随时间变化的平滑性。
• 在合成数据上，非加法惩罚方法在奖励与约束违反权衡方面始终优于加法松弛基线。
• 对于某些分布（如伽马分布），加法松弛可能表现得更紧致，但非加法方法仍提供了更优的整体性能权衡。
• 理论分析证实，遗憾与惩罚项的曲率以及约束违反的时间变化成正比，验证了设计选择的合理性。