[论文解读] Optimal sequential testing of two simple hypotheses in presence of control variables

Andrey Novikov|arXiv (Cornell University)|Dec 7, 2008

Advanced Statistical Process Monitoring参考文献 5被引用 3

一句话总结

该论文提出了一种在控制变量影响数据分布的条件下，用于区分两个简单假设的最优顺序检验程序。通过联合优化控制策略、停止规则和决策规则，证明了最优策略涉及基于似然比的停止边界，并在控制第一类与第二类错误的前提下最小化期望样本量。

ABSTRACT

Suppose that at any stage of a statistical experiment a control variable $X$ that affects the distribution of the observed data $Y$ can be used. The distribution of $Y$ depends on some unknown parameter $θ$, and we consider the classical problem of testing a simple hypothesis $H_0: θ=θ_0$ against a simple alternative $H_1: θ=θ_1$ allowing the data to be controlled by $X$, in the following sequential context. The experiment starts with assigning a value $X_1$ to the control variable and observing $Y_1$ as a response. After some analysis, we choose another value $X_2$ for the control variable, and observe $Y_2$ as a response, etc. It is supposed that the experiment eventually stops, and at that moment a final decision in favour of $H_0$ or $H_1$ is to be taken. In this article, our aim is to characterize the structure of optimal sequential procedures, based on this type of data, for testing a simple hypothesis against a simple alternative.

研究动机与目标

• 刻画控制变量影响数据分布时最优顺序检验程序的结构。
• 在控制第一类与第二类错误概率的约束下，最小化期望样本量。
• 推导联合控制、停止与决策规则最优性的必要与充分条件。
• 将经典顺序分析扩展至实验控制可自适应选择以提高效率的场景。
• 建立在原假设与备择假设下最优停止规则具有有限期望的条件。

提出的方法

• 将顺序检验问题建模为控制策略 $\chi$、停止规则 $\psi$ 和决策规则 $\phi$ 的三元组，均基于观测数据与控制变量进行适应。
• 使用似然比过程 $Z_n^\chi$ 跟踪在 $H_0$ 与 $H_1$ 下的证据累积，最优停止基于阈值 $A$ 与 $B$。
• 应用动态规划与最优停止理论，通过递归方程推导值函数与最优性条件。
• 将最优停止规则表示为对似然比的阈值处理，其中 $\psi_n^\chi$ 通过与阈值函数 $l_n^\chi$ 比较确定。
• 通过最小化在两个假设下期望样本量的加权和，引入贝叶斯扩展，导出修改后的最优性条件。
• 证明最优决策规则 $\phi_n$ 是似然比上的阈值指示函数，当 $\lambda_0 f_{\theta_0}^n \leq \lambda_1 f_{\theta_1}^n$ 时拒绝 $H_0$。

实验结果

研究问题

• RQ1 当控制变量影响数据分布时，最优顺序检验程序的结构是什么？
• RQ2 如何联合优化控制策略、停止规则与决策规则，以在误差约束下最小化期望样本量？
• RQ3 在何种条件下，最优停止规则在原假设与备择假设下均具有有限期望？
• RQ4 与经典顺序分析相比，控制变量的引入如何影响基于似然比的停止边界？
• RQ5 能否通过纳入两个假设下的期望样本量，将最优性框架扩展至贝叶斯设置？

主要发现

• 最优停止规则由似然比过程 $Z_n^\chi$ 的阈值化表征，当 $Z_n^\chi$ 穿越边界 $A$ 与 $B$ 时停止。
• 最优决策规则为 $\phi_n = I_{\{\lambda_0 f_{\theta_0}^n \leq \lambda_1 f_{\theta_1}^n\}}$，在给定误差约束下最小化风险。
• 最优控制策略 $\chi$ 确保在 $H_0$ 下似然比过程 $Z_n^\chi$ 为上鞅，在 $H_1$ 下为下鞅，从而实现最优性。
• 若条件 $1 + R(\infty) \geq \lambda_0$ 成立，则最优停止规则形式为 $\tau = \inf\{n \geq 1 : Z_n^\chi \leq A\}$ 或 $\geq B$，确保期望有限。
• 当条件 $1 + R(\infty) < \lambda_0$ 成立时，最优策略在 $H_1$ 下可能导致无限期望样本量，表明可能存在效率低下。
• 通过最小化两个假设下期望样本量的加权和，贝叶斯扩展导出涉及 $\pi_0 E_{\theta_0}^\chi \tau_\psi + \pi_1 E_{\theta_1}^\chi \tau_\psi$ 的修改后最优性条件。