[论文解读] Smoothed inference and graphics via LP modeling

Sara Algeri, Xiangyu Zhang|arXiv (Cornell University)|May 26, 2020

Statistical Methods and Inference参考文献 27被引用 1

一句话总结

本文提出了一种统一的拟合优度分析框架，通过平滑线性规划（LP）形式化平滑检验，整合了建模、估计、推断与可视化。该框架支持任意分布的灵活建模，采用专门设计的平滑自助法实现有效的推断，并利用CD图（累积偏差图）图形化揭示模型偏差并指导改进。

ABSTRACT

Classical tests of goodness-of-fit aim to validate the conformity of a postulated model to the data under study. Given their inferential nature, they can be considered a crucial step in confirmatory data analysis. In their standard formulation, however, they do not allow exploring how the hypothesized model deviates from the truth nor do they provide any insight into how the rejected model could be improved to better fit the data. The main goal of this work is to establish a comprehensive framework for goodness-of-fit which naturally integrates modeling, estimation, inference, and graphics. Modeling and estimation focus on a novel formulation of smooth tests that easily extends to arbitrary distributions, either continuous or discrete. Inference and adequate post-selection adjustments are performed via a specially designed smoothed bootstrap and the results are summarized via an exhaustive graphical tool called CD-plot.

研究动机与目标

• 解决经典拟合优度检验的局限性，即缺乏对模型偏差及其改进路径的洞察。
• 开发一种基于LP的平滑检验方法，实现对连续与离散分布的灵活建模与估计。
• 通过量身定制的平滑自助法，实现在模型选择后的有效统计推断，校正选择偏差。
• 创建一种全面的图形化工具（CD图），可视化原假设模型与真实模型之间的差异。
• 将建模、估计、推断与可视化统一为一个连贯的框架，用于验证性数据分析。

提出的方法

• 通过线性规划（LP）形式化平滑检验，实现对数据的灵活、分布无关的建模。
• 通过基于LP的参数化方法，将平滑检验方法扩展至任意分布——无论连续或离散。
• 应用专门设计的平滑自助法，在模型选择后执行有效推断，校正数据驱动模型评估中的选择偏差。
• 引入CD图（累积偏差图）作为图形化工具，可视化模型在数据分布各部分的偏差。
• 结合基于LP的估计与自助重抽样，生成稳健的p值与置信区域。
• 利用CD图识别原假设模型系统性偏离观测数据的区域。

实验结果

研究问题

• RQ1 如何将拟合优度检验扩展至提供关于模型改进的可操作洞察，而不仅限于简单地拒绝或不拒绝原假设？
• RQ2 能否开发一个统一框架，无缝整合建模、估计、推断与可视化于拟合优度分析之中？
• RQ3 LP-based平滑检验在实现对连续与离散分布的灵活建模中起到何种作用？
• RQ4 当以数据自适应方式使用平滑检验时，如何可靠地执行选择后推断？
• RQ5 CD图在有效揭示模型相对于真实数据生成过程的结构性偏差方面，其效果如何？

主要发现

• 基于LP的平滑检验形式化方法实现了对连续与离散分布的灵活且稳健的建模，且无需严格的参数假设。
• 所提出的平滑自助法程序在模型选择后提供了有效的推断，校正了数据驱动模型评估中的选择偏差。
• CD图能有效可视化原假设模型与数据之间的系统性偏差，突出显示拟合不良的区域。
• 该框架成功地将建模、估计、推断与图形化整合为一个连贯的工作流程，适用于验证性数据分析。
• 该方法不仅允许检验模型拟合度，还能基于图形化与推断性反馈诊断并指导模型改进。
• 该方法在保持统计有效性的同时，相比经典拟合优度检验，提供了更高的可解释性与实际应用价值。