[论文解读] The Two-Way Likelihood Ratio (G) Test and Comparison to Two-Way Chi Squared Test

Jesse Hoey|arXiv (Cornell University)|Jun 21, 2012

Algorithms and Data Compression参考文献 1被引用 25

一句话总结

本文提出双向似然比（G）检验作为比较两个多项分布时优于卡方检验的替代方法。推导出G统计量为两倍对数似然比，表明其在大样本下近似卡方分布，但在稀疏数据中保持更高精度，并强调必须对模型复杂度进行校正以避免过拟合。

ABSTRACT

This paper presents a derivation of the Two-Way Likelihood Ratio (G) Test and Comparison to the Two-Way Chi Squared Test

研究动机与目标

• 比较双向似然比（G）检验与传统的卡方检验在评估两个多项分布之间差异方面的表现。
• 证明在小样本或稀疏数据集中，G检验比卡方检验更可靠，因其具有更优的渐近性质。
• 阐明G统计量与Kullback-Leibler散度之间的关系，将其表述为对称化的相对熵度量。
• 强调在解释G值时必须考虑模型复杂度，因为参数的点估计可能导致过拟合。
• 提供一个基于似然比理论而非卡方近似的G统计量显著性检验的系统性框架。

提出的方法

• 将双向G检验统计量推导为 $ G = 2 \times \text{sum over bins of } O_i \times \log(O_i / E_i) $，其中 $ O_i $ 为观测频数，$ E_i $ 为期望频数。
• 将似然比表示为 $ L = R \cdot D_{KL}(r_i \| p_i) + S \cdot D_{KL}(s_i \| p_i) $，其中 $ p_i = (R_i + S_i)/(R + S) $，将其与Kullback-Leibler散度联系起来。
• 使用泰勒展开证明当观测频数与期望频数接近时 $ G \approx \chi^2 $，但当偏差较大或数据稀疏时G更精确。
• 通过前向算法计算似然值，将G统计量应用于隐马尔可夫模型等动态模型，并使用公式（3）计算比值。
• 建议将 $ G $ 与 $ 2\nu $ 比较，其中 $ \nu $ 为自由度，以评估显著性（例如，$ G > 2\nu $ 意味着 $ p < 0.05 $）。
• 警告：使用最大似然参数估计而非完整的贝叶斯积分可能导致过拟合，因此必须对模型复杂度进行校正。

实验结果

研究问题

• RQ1 在小样本或稀疏数据条件下，双向G检验与卡方检验在准确性方面有何差异？
• RQ2 在两个多项分布的背景下，G统计量与Kullback-Leibler散度之间存在何种数学关系？
• RQ3 为何在期望频数较低或方差较高时，G检验优于卡方检验？
• RQ4 在解释G统计量时，应如何考虑模型复杂度（如分箱数），以避免过拟合？
• RQ5 G统计量能否在动态模型（如隐马尔可夫模型）中有意义地使用？在这些情况下，似然值应如何计算？

主要发现

• G检验在数学上等价于观测数据与合并分布之间Kullback-Leibler散度之和的两倍，使其成为分布差异的对称化度量。
• 当观测频数与期望频数接近时，G统计量近似卡方统计量，但在稀疏数据或偏差较大时，近似关系会失效。
• 在小样本中，G检验比卡方检验更具鲁棒性，因为它避免了卡方近似依赖正态性所引入的偏差。
• 当使用最大似然参数估计时，G值依赖于模型复杂度，因此必须通过自由度进行校正，以避免假阳性结果。
• 显著性阈值 $ G > 2\nu $ 大致对应 $ p $-值为 0.05，为拒绝原假设提供了直接且可解释的准则。
• 对于隐马尔可夫模型等动态模型，G检验所需的似然值可使用标准前向算法计算，从而将该方法扩展至独立同分布数据之外。