[论文解读] Valid and Exact Statistical Inference for Multi-dimensional Multiple Change-Points by Selective Inference

Ryota Sugiyama, Hiroki Toda+3 more|arXiv (Cornell University)|Oct 18, 2021

Statistical Methods and Inference参考文献 53被引用 4

一句话总结

本文提出了一种用于多维多变化点检测的新型选择性推断方法，可为变化点位置和分量提供有效且精确的p值，同时考虑了选择偏差。通过将条件选择性推断扩展至高维、多变化点场景，该方法在基因组学和人类行为分析中展现出比朴素方法更高的统计功效，显著提升了识别真实变化的可靠性。

ABSTRACT

In this paper, we study statistical inference of change-points (CPs) in multi-dimensional sequence. In CP detection from a multi-dimensional sequence, it is often desirable not only to detect the location, but also to identify the subset of the components in which the change occurs. Several algorithms have been proposed for such problems, but no valid exact inference method has been established to evaluate the statistical reliability of the detected locations and components. In this study, we propose a method that can guarantee the statistical reliability of both the location and the components of the detected changes. We demonstrate the effectiveness of the proposed method by applying it to the problems of genomic abnormality identification and human behavior analysis.

研究动机与目标

• 解决多维序列中同时检测变化点位置和分量的缺乏有效、精确统计推断方法的问题。
• 克服渐近理论的局限性，后者依赖于强正则性假设，在复杂高维场景下失效。
• 开发一种在仅有一个数据集可用时考虑变化点检测中选择偏差的方法，避免数据分割或交叉验证。
• 与现有选择性推断方法的朴素扩展相比，提升多维多变化点问题中的统计功效。
• 实现在基因组异常检测和人类行为分析等实际应用中的可靠推断。

提出的方法

• 将条件选择性推断（SI）框架适配至多维多变化点检测，确保在选择条件下获得有效p值。
• 采用筛选程序识别候选变化点和分量，随后应用考虑选择过程的条件推断框架。
• 通过在原假设下对检验统计量的分布进行条件化，推导出变化点位置和分量的精确p值。
• 引入结构化协方差假设（如独立性或AR(1)），以建模分量间的依赖关系，提升推断准确性。
• 采用两阶段方法：首先使用多维分割算法检测变化点；其次应用选择性推断评估检测点和分量的统计显著性。
• 引入一种改进的检验统计量，以同时考虑位置和分量的联合选择，相比朴素SI扩展显著提升功效。

实验结果

研究问题

• RQ1 选择性推断能否被扩展至多维多变化点检测中，为位置和分量提供有效且精确的p值？
• RQ2 在高维场景下，所提出方法与现有选择性推断方法的朴素扩展相比，在功效和准确性方面表现如何？
• RQ3 在真实世界的基因组和行为数据中，考虑选择偏差在多大程度上提升了变化点检测的可靠性？
• RQ4 不同的协方差结构（如独立性与AR(1)）如何影响推断的性能和有效性？
• RQ5 该方法能否在复杂高维序列中有效区分真正显著的变化与假阳性？

主要发现

• 所提出方法成功为变化点位置和分量提供了有效且精确的p值，避免了渐近近似带来的缺陷。
• 在Array CGH数据中，朴素方法错误地将大多数检测到的变化判定为显著（p < 0.05），而所提出方法正确识别出部分变化并不具有统计显著性。
• 在人类行为识别数据中，所提出方法相比朴素方法显著减少了假阳性检测，尤其在分量具有相关性时表现更优。
• 该方法在功效上优于朴素SI扩展，尤其在分量相关时（如AR(1)结构）表现更佳。
• 在独立性和AR(1)协方差假设下，所提出方法在多个染色体和活动设置中均保持了正确的第一类错误控制。
• 结果表明，多维多变化点检测中的选择偏差显著影响推断有效性，而所提出方法能有效纠正该偏差。