[论文解读] Testing Optimality of Sequential Decision-Making

Meik Dörpinghaus, Izaak Neri+3 more|arXiv (Cornell University)|Jan 4, 2018

Probabilistic and Robust Engineering Design参考文献 23被引用 3

一句话总结

本文提出一种统计检验方法，仅基于观测到的决策时间、结果和真实假设，判断黑箱序列决策系统是否最优。该方法利用由似然比的鞅性质导出的涨落关系，表明最优序列概率比检验（SPRT）在给定决策结果时，其决策时间分布与真实假设无关——从而实现基于互信息的最优性检验，而无需了解观测统计特性。

ABSTRACT

This paper provides a statistical method to test whether a system that performs a binary sequential hypothesis test is optimal in the sense of minimizing the average decision times while taking decisions with given reliabilities. The proposed method requires samples of the decision times, the decision outcomes, and the true hypotheses, but does not require knowledge on the statistics of the observations or the properties of the decision-making system. The method is based on fluctuation relations for decision time distributions which are proved for sequential probability ratio tests. These relations follow from the martingale property of probability ratios and hold under fairly general conditions. We illustrate these tests with numerical experiments and discuss potential applications.

研究动机与目标

• 开发一种方法，以在满足可靠性约束的前提下，测试序列决策系统是否最小化平均决策时间。
• 解决在真实世界决策系统（如自动驾驶车辆）中评估系统性能的挑战，其中内部观测统计特性未知或不可访问。
• 建立一种仅依赖可观测输出（决策时间、决策结果和真实假设）的黑箱测试框架。
• 证明最优序列概率比检验在不同假设下，其决策时间分布满足特定对称性条件。
• 实现在无法获取底层信号处理模型或观测过程的情况下，对决策算法进行实际验证。

提出的方法

• 该方法通过检验决策时间分布是否在给定决策结果的条件下，与真实假设条件独立，来测试最优性。
• 利用序列概率比检验（SPRT）中似然比的鞅性质导出的涨落关系，该关系在一般独立同分布（i.i.d.）观测条件下成立。
• 核心检验方法为：当决策结果 D 固定时，检查真实假设 H=1 和 H=2 下的决策时间条件概率密度 p_T(t|H, D) 是否相同。
• 计算真实假设 H 与决策时间 T 之间的互信息 I(H; T)；最优性意味着在推导出的对称性条件下，I(H; T) = 0。
• 该方法为非参数方法，无需了解观测过程或决策算法的内部结构。
• 数值实验验证了该方法利用经验决策时间分布检测最优性偏差的能力。

实验结果

研究问题

• RQ1 我们能否在不访问系统内部观测统计特性或算法设计的前提下，判断黑箱序列决策系统是否最优？
• RQ2 在固定错误率下，为使序列检验最小化平均决策时间，其决策时间分布需满足何种统计条件？
• RQ3 在最优序列检验中，决策时间分布是否在决策结果之外还携带关于真实假设的额外信息？
• RQ4 如何利用似然比的涨落关系，推导出序列分析中最优性的可检验必要条件？
• RQ5 真实假设与决策时间之间的互信息能否作为序列决策中最优性的定量度量？

主要发现

• 最优序列概率比检验满足对称性条件：对两种决策结果 d ∈ {1, 2}，均有 p_T(t|H=1, D=d) = p_T(t|H=2, D=d)。
• 该对称性意味着决策时间 T 在给定决策结果 D 的条件下，不携带关于真实假设 H 的额外信息，从而在最优性下导致互信息 I(H; T) = 0。
• 在由似然比的鞅性质导出的涨落关系下，已证明互信息 I(H; T) 为零。
• 所提出的检验在一般 i.i.d. 观测过程中有效，且无需了解观测统计特性或决策算法。
• 数值实验确认，该方法能正确识别最优系统，并检测模拟决策过程中次优行为。
• 该方法可实现对真实世界系统（如自动驾驶车辆感知模块）的实际验证，仅依赖可观测的决策输出。