[论文解读] The Hellinger Bounds on the Kullback-Leibler Divergence and the Bernstein Norm

Tetsuya Kaji|arXiv (Cornell University)|Jan 25, 2026

Statistical Methods and Inference被引用 0

一句话总结

本文刻画了赫尔林距离上界香农KL发散、KL变差和伯恩斯坦范数的必要充要条件，即使在似然比无界的情况下也成立，并将这些结果应用于放宽样本筛子最大似然估计的正则性要求。

ABSTRACT

The Kullback-Leibler divergence, the Kullback-Leibler variation, and the Bernstein "norm" are used to quantify discrepancies among probability distributions in likelihood models such as nonparametric maximum likelihood and nonparametric Bayes. They are closely related to the Hellinger distance, which is often easier to work with. Consequently, it is of interest to characterize conditions under which the Hellinger distance serves as an upper bound for these measures. This article characterizes a necessary and sufficient condition for each of the discrepancy measures to be bounded by the Hellinger distance. It accommodates unbounded likelihood ratios and generalizes all previously known results. We then apply it to relax the regularity condition for the sieve maximum likelihood estimator.

研究动机与目标

• 动机：需要用赫尔林距离来界定分布之间的差异度量。
• 推导使赫尔林距离上界KL发散、KL变差和伯恩斯坦范数的必要且充分条件。
• 将新条件与文献中现有条件进行比较。
• 通过在放宽正则性条件下推导非参数筛子MLE的收敛速率来展示应用。

提出的方法

• 定义并关联赫尔林距离、KL发散、KL变差和伯恩斯坦范数。
• 通过对 p0/p 的矩量边界，建立伯恩斯坦范数被赫尔林距离界限的必要充分条件（NC）。
• 证明等价表示，将BN界限与KL界限及高阶变差联系起来。
• 将NC与其他条件（UB、WS、FM、CM）进行比较，并展示它们之间的蕴含关系。
• 将界限应用于在放宽正则性的前提下获得筛子最大似然估计量的收敛速率结果。

实验结果

研究问题

• RQ1 在何种条件下对数似然比的伯恩斯坦范数被赫尔林距离界限？
• RQ2 KL发散和KL变差在何种必要充分条件下被赫尔林距离界限？
• RQ3 这些新条件如何与文献中的现有界性或矩条件相关？
• RQ4 结果是否可用于放宽筛子最大似然估计的正则性要求？

主要发现

• 对于对数似然比的分数伯恩斯坦范数被赫尔林距离界限的必要充分条件，是局部矩条件（NC）。
• 在相应的L1型条件（L1和Lk）下，KL发散和更高阶的KL变差被赫尔林距离界限。
• BN/L1/Lk界限意味着并与对KL及KL变差的背向界限相关，且对h(p0,p)的依赖是尖锐的，但对常数的依赖不是。
• NC条件能推出其他已知条件，这些关系映射到文献中的现有结果。
• 这些结果使在放宽正则性的情况下对非参数筛子MLE的收敛速率分析成为可能，且允许似然比的快速发散。