[论文解读] Safe and Adaptive Decision-Making for Optimization of Safety-Critical Systems: The ARTEO Algorithm

Buse Sibel Korkmaz, Marta Zagórowska+1 more|arXiv (Cornell University)|Nov 10, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文提出ARTEO，一种在不确定性环境下针对安全关键系统的实时优化的安全且自适应的算法。它将多臂赌博机问题建模为使用高斯过程来描述不确定性的约束优化问题，通过置信区间动态调整探索行为，以确保安全并优化性能，在两个真实世界案例研究中实现的累积遗憾低于安全UCB变体。

ABSTRACT

We consider the problem of decision-making under uncertainty in an environment with safety constraints. Many business and industrial applications rely on real-time optimization to improve key performance indicators. In the case of unknown characteristics, real-time optimization becomes challenging, particularly because of the satisfaction of safety constraints. We propose the ARTEO algorithm, where we cast multi-armed bandits as a mathematical programming problem subject to safety constraints and learn the unknown characteristics through exploration while optimizing the targets. We quantify the uncertainty in unknown characteristics by using Gaussian processes and incorporate it into the cost function as a contribution which drives exploration. We adaptively control the size of this contribution in accordance with the requirements of the environment. We guarantee the safety of our algorithm with a high probability through confidence bounds constructed under the regularity assumptions of Gaussian processes. We demonstrate the safety and efficiency of our approach with two case studies: optimization of electric motor current and real-time bidding problems. We further evaluate the performance of ARTEO compared to a safe variant of upper confidence bound based algorithms. ARTEO achieves less cumulative regret with accurate and safe decisions.

研究动机与目标

• 解决在关键参数未知且必须严格遵守安全约束的安全关键系统中的实时优化挑战。
• 开发一种自适应平衡探索与利用的算法，避免不安全决策，同时优化性能目标。
• 将基于高斯过程的不确定性量化集成到约束优化框架中，以高概率保证安全。
• 在工业应用中（如电动机电流控制和实时在线出价）证明该方法的有效性。
• 在保持优化目标的同时最小化约束违规和遗憾，超越现有安全探索算法。

提出的方法

• 将多臂赌博机问题表述为带有安全和性能约束的约束数学规划问题。
• 使用高斯过程对未知的奖励函数和约束函数进行建模，通过核函数编码平滑性假设。
• 将不确定性估计（来自GP后验的方差）作为自适应探索奖励纳入目标函数。
• 基于GP平滑性假设推导置信区间，构建高概率安全保证。
• 根据环境需求动态调整探索贡献，确保安全且无需专门的探索阶段。
• 在每一步使用约束求解器求解优化问题，同时遵守出价上限、投资回报率阈值和非负性约束。

实验结果

研究问题

• RQ1 我们能否在无需单独探索阶段的情况下，实现在安全关键系统中的安全且自适应的探索？
• RQ2 如何将基于高斯过程的不确定性量化集成到实时优化中，以平衡探索与利用？
• RQ3 该算法在多大程度上能维持优化目标（如投资回报率、电流参考值），同时确保安全约束永不被违反？
• RQ4 在真实世界应用中，ARTEO与基于UCB的安全变体相比，在性能和安全性方面表现如何？
• RQ5 该算法能否根据动态环境需求自适应调整其探索行为？

主要发现

• 在电动机电流优化和在线出价两个案例研究中，ARTEO实现的累积遗憾均低于安全UCB变体。
• 在在线出价实验中，ARTEO在保持投资回报率高于安全阈值的同时，出价价格低于基准算法。
• 该算法在两个案例研究中均成功避免了约束违规，通过置信区间实现了高概率的安全保证。
• ARTEO实现了动态探索，避免了不必要的或不安全的探索，同时仍随时间推移持续提升性能。
• 在目标函数中使用基于GP的不确定性，实现了有效且安全的探索，无需单独的探索阶段。
• 仿真结果表明，在iPinYou数据集中，ARTEO实现的回报率更高，成本更低，优于基线算法。