[论文解读] When to look at a noisy Markov chain in sequential decision making if measurements are costly?

Vikram Krishnamurthy|arXiv (Cornell University)|Aug 16, 2012

Advanced Statistical Process Monitoring参考文献 18被引用 6

一句话总结

本文提出了一种用于检测噪声有限状态马尔可夫链何时命中目标状态的最优序列采样策略，权衡误报、延迟惩罚和昂贵的测量成本。证明了最优策略具有阈值结构：当后验估计远离目标时采样频率较低，接近目标时采样频率较高，利用贝叶斯滤波和随机优势推导性能界限及对模型参数的敏感性。

ABSTRACT

A decision maker records measurements of a finite-state Markov chain corrupted by noise. The goal is to decide when the Markov chain hits a specific target state. The decision maker can choose from a finite set of sampling intervals to pick the next time to look at the Markov chain. The aim is to optimize an objective comprising of false alarm, delay cost and cumulative measurement sampling cost. Taking more frequent measurements yields accurate estimates but incurs a higher measurement cost. Making an erroneous decision too soon incurs a false alarm penalty. Waiting too long to declare the target state incurs a delay penalty. What is the optimal sequential strategy for the decision maker? The paper shows that under reasonable conditions, the optimal strategy has the following intuitive structure: when the Bayesian estimate (posterior distribution) of the Markov chain is away from the target state, look less frequently; while if the posterior is close to the target state, look more frequently. Bounds are derived for the optimal strategy. Also the achievable optimal cost of the sequential detector as a function of transition dynamics and observation distribution is analyzed. The sensitivity of the optimal achievable cost to parameter variations is bounded in terms of the Kullback divergence. To prove the results in this paper, novel stochastic dominance results on the Bayesian filtering recursion are derived. The formulation in this paper generalizes quickest time change detection to consider optimal sampling and also yields useful results in sensor scheduling (active sensing).

研究动机与目标

• 确定在观测噪声马尔可夫链代价高昂时，序列决策中最佳的采样策略。
• 最小化包含误报惩罚、延迟惩罚和测量成本的综合成本函数。
• 在部分可观测性和采样约束下，刻画最优策略的结构。
• 利用Kullback-Leibler散度分析最优成本对模型参数变化的敏感性。
• 将经典快速检测推广至允许多个采样间隔和状态相关成本的情形。

提出的方法

• 将问题表述为具有有限采样延迟集合的部分可观察马尔可夫决策过程（POMDP）。
• 使用贝叶斯滤波递归更新马尔可夫链状态的后验分布。
• 应用随机优势和似然比序分析不同采样动作下后验分布的单调性特性。
• 利用Kullback-Leibler散度推导最优成本的界限，量化对模型误设的敏感性。
• 采用随机动态规划和子模性论证，建立最优策略的结构性质。
• 证明最优策略在后验概率上为阈值型，靠近目标状态时偏好更高的采样频率。

实验结果

研究问题

• RQ1 在噪声马尔可夫链检测问题中，最小化误报、延迟和测量成本总和的最优采样策略是什么？
• RQ2 最优采样频率如何依赖于马尔可夫链状态的后验分布？
• RQ3 最优成本对转移模型和观测模型扰动的敏感性如何？
• RQ4 能否利用后验分布的随机优势和似然比序来刻画最优策略？
• RQ5 所提出的框架如何推广经典快速检测，以支持多个采样间隔和状态相关成本？

主要发现

• 最优策略表现出阈值结构：后验概率接近目标状态时，采样频率随之增加。
• 最优策略在后验分布空间中由一条切换曲线表征，当后验分布趋近目标状态时触发更高频率的采样决策。
• 最优成本可通过模型参数间Kullback-Leibler散度界定，量化了对模型不确定性的敏感性。
• 推导出关于贝叶斯滤波递推的新随机优势结果，这对证明最优策略的结构性质至关重要。
• 证明最优成本关于模型参数是Lipschitz连续的，Lipschitz常数由Kullback-Leibler散度有界。
• 该框架通过允许多个采样间隔和状态相关测量成本，推广了经典快速检测，支持相型分布变化时间的建模。