[论文解读] Valid Post-Detection Inference for Change Points Identified Using Trend Filtering

Reza Valiollahi Mehrizi, Shojaeddin Chenouri|arXiv (Cornell University)|Apr 24, 2021

Statistical Methods and Inference参考文献 50被引用 4

一句话总结

本文为通过PRUTF算法识别的变点发展了有效的后检测推断方法，该算法利用趋势过滤法估计分段多项式信号。文章提出了全局与局部后检测推断策略，以构建准确的置信区间和p值，显著缩短了传统后选择区间长度，同时在已知和未知误差方差下保持了有效的覆盖概率。

ABSTRACT

There are many research works and methods about change point detection in the literature. However, there are only a few that provide inference for such change points after being estimated. This work mainly focuses on a statistical analysis of change points estimated by the PRUTF algorithm, which incorporates trend filtering to determine change points in piecewise polynomial signals. This paper develops a methodology to perform statistical inference, such as computing p-values and constructing confidence intervals in the newly developed post-selection inference framework. Our work concerns both cases of known and unknown error variance. As pointed out in the post-selection inference literature, the length of such confidence intervals are undesirably long. To resolve this shortcoming, we also provide two novel strategies, global post-detection, and local post-detection which are based on the intrinsic properties of change points. We run our proposed methods on real as well as simulated data to evaluate their performances.

研究动机与目标

• 为解决通过数据驱动方法检测的变点缺乏统计推断方法的问题，特别是在分段多项式模型中。
• 开发一种后选择推断框架，以考虑变点检测的数据依赖性，避免将检测到的点视为固定而造成的无效推断。
• 减少标准后选择置信区间的保守性，后者常因选择偏差而过宽。
• 提出两种新颖策略——全局与局部后检测推断——利用变点的内在特性以提高区间精度。
• 在模拟数据和真实世界数据上评估所提方法的性能，证明其在已知和未知误差方差下的鲁棒性与准确性。

提出的方法

• 将后选择推断框架适配于通过PRUTF算法估计的分段多项式信号中的变点检测，该算法利用趋势过滤法识别变点。
• 推导检验统计量在给定所选变点条件下的精确抽样分布，从而实现有效的p值和置信区间。
• 利用截断t分布和正态近似构造置信区间，其边界由选择分布的分位数导出。
• 通过在多个变点间整合信息，提出全局后检测推断，以提高区间效率。
• 提出局部后检测推断，聚焦于单个变点，使用局部检验统计量和选择事件。
• 基于观测到的检验统计量构建截断集，以定义条件抽样分布，确保在模型选择下的有效推断。

实验结果

研究问题

• RQ1 如何在考虑数据驱动选择过程的前提下，对使用趋势过滤法检测的变点进行有效的统计推断？
• RQ2 在构建检测到的变点的置信区间时，忽略选择偏差会带来什么后果？
• RQ3 全局与局部后检测推断策略是否能缩短后选择置信区间的长度，同时保持覆盖概率？
• RQ4 当误差方差未知时，所提出的置信区间在何种条件下仍能保持有效的覆盖？
• RQ5 与标准后选择推断相比，所提方法在区间宽度和经验覆盖方面表现如何？

主要发现

• 所提出的全局与局部后检测推断策略显著缩短了置信区间的长度，相较于标准后选择方法，尤其在高维或复杂信号设置下效果明显。
• 推导出置信区间长度的理论界，表明上界与截断t分布的分位数以及临界值之差成正比。
• 当自由度较大时，截断t分布趋近于正态分布，所提边界仍保持有效，确保在不同误差分布下的鲁棒性。
• 函数 $ h(x) $（控制区间边界有效性的函数）在 $ x \in (0, x_0] $ 上为正，表明在信噪比合理条件下边界成立。
• 模拟与真实数据实验表明，所提方法在保持正确覆盖水平的同时，生成的区间比传统后选择推断更短。
• 即使误差方差未知，该方法仍能实现有效推断，通过在检验统计量和置信区间构造中使用估计的标准误。