[论文解读] Quickest Detection with Discretely Controlled Observations

Erhan Bayraktar, Ross Kravitz|arXiv (Cornell University)|Dec 19, 2012

Advanced Statistical Process Monitoring参考文献 19被引用 4

一句话总结

本文研究在连续时间中具有有限观察次数的贝叶斯快速检测问题，其中代理人必须战略性地选择观察时机以最小化检测延迟和误报。论文证明了最优停止策略的存在性，并提出一种基于跳跃算子的算法，表明当观察次数增加时，该问题收敛至施罗耶夫的经典连续观察问题。

ABSTRACT

We study a continuous time Bayesian quickest detection problem in which observation times are a scarce resource. The agent, limited to making a finite number of discrete observations, must adaptively decide his observation strategy to minimize detection delay and the probability of false alarm. Under two different models of observation rights, we establish the existence of optimal strategies, and formulate an algorithmic approach to the problem via jump operators. We describe algorithms for these problems, and illustrate them with some numerical results. As the number of observation rights tends to infinity, we also show convergence to the classical continuous observation problem of Shiryaev.

研究动机与目标

• 解决在连续时间贝叶斯快速检测中，当观察时间作为稀缺且有限的资源时，最小化检测延迟与误报概率的挑战。
• 制定并求解一个随机控制问题，其中代理人在固定观察次数预算下自适应选择观察时间。
• 在两种不同的观察次数模型下，建立最优观察策略存在的理论基础。
• 提出一种基于跳跃算子的算法框架，用于计算最优停止时间与价值函数。
• 证明当观察次数趋于无穷时，有限观察问题的最优解收敛至施罗耶夫的经典连续观察问题。

提出的方法

• 将紊乱时间 Θ 建模为速率 λ 的指数分布，观察过程 X_t 在时间 Θ 之后为具有漂移 α 的布朗运动。
• 将风险函数 ρ^π(τ) 定义为误报概率与期望检测延迟的加权和，其中常数 c 平衡两者。
• 使用贝叶斯定理推导后验概率过程 π_t = P(Θ ≤ t | F_t^X)，该过程在连续观察下构成充分统计量。
• 引入跳跃算子框架，递归计算观察时刻的价值函数 Φ_t，同时考虑自上次观察以来的时间流逝。
• 制定似然比过程 Z_t(u) = P(Θ = u | F_t^X) / P(Θ = u | F_0^X) 的演化，以追踪后验概率随时间的变化。
• 推导每个观察时刻价值函数的递归更新方程，结合似然比与时间相关的漂移项。

实验结果

研究问题

• RQ1 在连续时间快速检测问题中，当仅允许有限次观察时，选择观察时间的最优策略是什么？
• RQ2 与经典连续观察设定相比，当观察次数受限时，最优停止规则的结构如何变化？
• RQ3 能否基于递归跳跃算子框架，算法化地计算有限观察次数下的价值函数与最优策略？
• RQ4 随着观察次数的增加，最优检测策略会发生什么变化——是否收敛至经典的施罗耶夫解？
• RQ5 将自上次观察以来的时间纳入考虑后，对充分统计量与最优策略结构有何影响？

主要发现

• 论文在两种不同的观察次数模型下证明了最优观察策略的存在性，确保了问题的适定性。
• 提出了一种基于跳跃算子的算法方法，用于递归计算每个观察时刻的价值函数与最优停止时间。
• 在时间 t_n 的价值函数被证明依赖于前一时刻的值 Φ_{t_{n-1}} 与增量 X_{t_n} - X_{t_{n-1}}，其闭式表达式包含指数与积分项。
• 当观察次数 n → ∞ 时，最优检测策略收敛至经典施罗耶夫连续观察解，验证了该方法在极限情况下的有效性。
• 当观察不连续时，后验概率过程 π_t 不再是马尔可夫过程；因此，必须将自上次观察以来的时间作为状态的一部分进行追踪，该要素已整合进跳跃算子框架中。
• 数值结果展示了所提算法的性能，表明在自适应使用观察次数时，检测效率显著优于预先固定观察时机的策略。