[论文解读] Nonparametric learning for impulse control problems

Sören Christensen, Claudia Strauch|arXiv (Cornell University)|Sep 20, 2019

Advanced Bandit Algorithms Research参考文献 19被引用 4

一句话总结

本文提出了一种在部分信息下针对脉冲控制问题的非参数学习框架，通过基于不变密度估计器收敛速率的自适应采样，整合了探索与利用。它建立了统一的遗憾边界 $ O(T^{-1/3}) $，在随机捕捞背景下实现了学习漂移与长期控制优化之间的最优平衡。

ABSTRACT

One of the fundamental assumptions in stochastic control of continuous time processes is that the dynamics of the underlying (diffusion) process is known. This is, however, usually obviously not fulfilled in practice. On the other hand, over the last decades, a rich theory for nonparametric estimation of the drift (and volatility) for continuous time processes has been developed. The aim of this paper is bringing together techniques from stochastic control with methods from statistics for stochastic processes to find a way to both learn the dynamics of the underlying process and control in a reasonable way at the same time. More precisely, we study a long-term average impulse control problem, a stochastic version of the classical Faustmann timber harvesting problem. One of the problems that immediately arises is an exploration-exploitation dilemma as is well known for problems in machine learning. We propose a way to deal with this issue by combining exploration and exploitation periods in a suitable way. Our main finding is that this construction can be based on the rates of convergence of estimators for the invariant density. Using this, we obtain that the average cumulated regret is of uniform order $O({T^{-1/3}})$.

研究动机与目标

• 为解决经典随机控制中漂移未知这一常见但不切实际的假设所引发的脉冲控制挑战。
• 解决在学习动力学的同时优化控制性能所固有的探索-利用权衡问题。
• 开发一个统一框架，将非参数统计与随机控制相结合，避免对漂移施加限制性参数假设。
• 在遗憾的术语下推导有限时间性能保证，特别是对学习导致的累积损失进行边界控制。

提出的方法

• 该方法结合了不变密度的非参数核密度估计与时间分割策略，交替进行探索（学习）和利用（控制）阶段。
• 使用核估计器 $ \widehat{\rho}_{t,h}(y) $ 对不变密度进行估计，带宽 $ h $ 基于估计器的收敛速率进行选择。
• 探索阶段持续 $ t $ 个时间单位，在此期间通过观测过程对漂移进行非参数估计，而利用阶段则使用估计的动力学进行控制。
• 遗憾分析依赖于将估计误差分解为偏差项和鞅项，后者通过 Burkholder–Davis–Gundy 不等式进行控制。
• 密度估计器的收敛速率与真实密度的 Hölder 连续性以及核函数 $ Q $ 的阶数相关联，从而确保偏差控制。
• 最终通过结合密度估计器的期望 $ L^1 $-误差界与探索-利用之间的时间分配，推导出遗憾边界。

实验结果

研究问题

• RQ1 如何在连续时间设置下，同时学习扩散过程的未知漂移并执行最优脉冲控制？
• RQ2 在无先验参数假设的前提下，实时非参数学习动力学时可实现的最小遗憾是多少？
• RQ3 在学习-控制框架中，应如何平衡探索与利用以最小化累积遗憾？
• RQ4 非参数密度估计器的收敛速率在决定控制策略性能方面起什么作用？
• RQ5 是否可以在非参数脉冲控制问题中实现 $ O(T^{-1/3}) $ 量级的统一遗憾边界？

主要发现

• 所提方法实现了 $ O(T^{-1/3}) $ 的统一遗憾边界，该边界在给定的非参数估计约束下为最优。
• 遗憾边界通过平衡探索时间 $ t $ 与由此产生的估计误差推导得出，最优带宽满足 $ h \sim t^{-1/3} $。
• 密度估计器的偏差项通过真实不变密度的 Hölder 连续性与核阶数进行控制，得到 $ \mathcal{O}(h^\beta) $ 的偏差。
• 估计误差中的鞅项通过 Burkholder–Davis–Gundy 不等式进行有界，对 $ L^1 $-误差的贡献为 $ \mathcal{O}(\sqrt{h}) $。
• 分析表明，密度估计器的 $ L^1 $-误差为 $ \mathcal{O}(1/\sqrt{t}) $，这导致整体遗憾的标度。
• 该框架成功地将非参数统计与随机控制相结合，表明学习与控制可以同时进行，并具备可量化的性能保证。