[论文解读] The Logarithmic Super Divergence and its use in Statistical Inference

Avijit Maji, Abhik Ghosh+1 more|arXiv (Cornell University)|Jul 15, 2014

Advanced Statistical Methods and Models参考文献 12被引用 4

一句话总结

本文提出了对数超散度（LSD），一种新的统计散度族，统一了对数幂散度（LPD）和对数密度幂散度（LDPD）族。该文提出基于LSD的最小距离估计，展示了其在污染情况下的优越鲁棒性——尤其在位置模型中，一阶影响函数无法准确预测性能表现，且在存在异常值的假设检验中表现出更高的经验功效。

ABSTRACT

This paper introduces a new superfamily of divergences that is similar in spirit to the S-divergence family introduced by Ghosh et al. (2013). This new family serves as an umbrella that contains the logarithmic power divergence family (Renyi, 1961; Maji, Chakraborty and Basu 2014) and the logarithmic density power divergence family (Jones et al., 2001) as special cases. Various properties of this new family and the corresponding minimum distance procedures are discussed with particular emphasis on the robustness issue; these properties are demonstrated through simulation studies. In particular the method demonstrates the limitation of the first order influence function in assessing the robustness of the corresponding minimum distance procedures.

研究动机与目标

• 开发一个统一的散度超族，使LPD和LDPD均作为其特例。
• 研究基于LSD族的最小距离估计量的鲁棒性特性。
• 展示一阶影响函数在评估此类估计量鲁棒性时的局限性。
• 评估LSD推断在估计与假设检验中于污染条件下的经验性能。
• 识别LSD在有限样本中实现最大鲁棒性与统计功效的最优参数区域。

提出的方法

• 将对数超散度（LSD）定义为使用对数变换的幂散度的双参数族：$\text{LSD}_{\beta,\gamma}(g,f) = \frac{1}{A}\log\int f^{1+\beta} - \frac{1+\beta}{AB}\log\int f^B g^A + \frac{1}{B}\log\int g^{1+\beta}$，其中 $A = 1 + \gamma(1 - \beta)$，$B = \beta - \gamma(1 - \beta)$。
• 通过最小化LSD推导出参数 $\theta$ 的估计方程，得到 $\frac{\int f_\theta^{1+\beta} u_\theta}{\int f_\theta^{1+\beta}} = \frac{\int f_\theta^B g^A u_\theta}{\int f_\theta^B g^A}$，其中 $u_\theta$ 为得分函数。
• 将LSD框架应用于参数估计与假设检验，采用类似经验似然的统计量。
• 通过含污染数据的模拟研究（如90% 泊松(2) + 10% 泊松(15)）评估鲁棒性与经验功效。
• 分析崩溃点与影响函数行为，特别强调一阶影响函数在位置模型中无法准确预测鲁棒性的缺陷。
• 比较不同 $\beta$ 与 $\gamma$ 值下LSD的表现，识别出鲁棒性与功效最优的参数区域。

实验结果

研究问题

• RQ1 能否构建一个新散度族，使LPD与LDPD均作为其特例？
• RQ2 当一阶影响函数预测性能不佳时，基于LSD的最小距离估计量在模型污染下的表现如何？
• RQ3 在污染条件下，LSD在假设检验中的经验表现如何？其表现随 $\beta$ 与 $\gamma$ 如何变化？
• RQ4 是否存在特定的 $\beta$ 与 $\gamma$ 值，可在有限样本中实现最优鲁棒性与统计功效？
• RQ5 一阶影响函数在LSD推断中多大程度上无法作为鲁棒性的预测工具？

主要发现

• LSD族推广了LPD与LDPD，当 $\beta=0$ 时恢复为LPD，当 $\gamma=0$ 时得到LDPD。
• 当 $n=100$ 时，LSD检验在 $H_0: \theta=3$ 对 $H_1: \theta=2$ 下，对于 $\beta=0.5$，$\gamma=0.7$，在10%污染条件下实现100%的经验功效。
• 当 $n=50$ 时，LSD检验在 $\beta=0.7$，$\gamma=-0.9$ 下实现98.9%的经验功效，表明在污染条件下具有强大的检测能力。
• 当 $n=20$ 时，LSD检验在低样本量与10%污染条件下仍保持高功效（$\beta=0.1$，$\gamma=-0.9$ 时最高达99.7%）。
• 一阶影响函数无法预测位置模型中的鲁棒性，模拟结果显示高影响点并未降低LSD估计量的性能。
• 在 $\beta \in [0.5, 1.5]$ 与 $\gamma \in [-0.7, -0.3]$ 区域内，LSD表现一致优异，多种情景下经验功效均超过98%。