[论文解读] On the probabilistic rationale of I-divergence and J-divergence minimization

Marian Grendár, Grendar, Marian|ArXiv.org|Aug 4, 2000

Multi-Criteria Decision Making被引用 3

一句话总结

本文为统计推断中 I-散度（Kullback-Leibler 散度）和 J-散度（Jeffreys 散度）最小化建立了概率基础。它表明，在特定随机模型下，最小化这些散度等价于最大似然估计，为非参数模型和指数族建模中广泛应用的信息论准则提供了统一的概率论依据。

ABSTRACT

A probabilistic rationale for I-divergence minimization (relative entropy maximization), non-parametric likelihood maximization and J-divergence minimization (Jeffres' entropy maximization) criteria is provided.

研究动机与目标

• 为 I-散度最小化提供概率论依据，该方法常用于最大熵和相对熵最大化。
• 为 J-散度最小化建立随机模型基础，与 Jeffreys 的熵最大化原理相关联。
• 在统一的概率框架下统一解释 I-散度和 J-散度最小化。
• 将这些散度最小化准则与非参数似然最大化及指数族模型联系起来。
• 从随机模型和似然原理的角度，阐明这些信息论准则的统计基础。

提出的方法

• 推导 I-散度最小化的概率解释，证明其等价于在特定随机模型下最大化似然函数。
• 表明 J-散度最小化对应于最大化对称似然准则，与 Jeffreys 的熵最大化原理一致。
• 利用指数族模型和充分统计量，形式化散度最小化与似然最大化之间的联系。
• 应用大偏差原理和渐近随机推理，证明散度最小化在估计中的最优性。
• 证明最小化 I-散度等价于在非参数设定下寻找最大似然估计。
• 建立 J-散度最小化自然源于对称似然形式化，增强了对模型误设的鲁棒性。

实验结果

研究问题

• RQ1 支撑 I-散度最小化作为统计推断原则的潜在概率模型是什么？
• RQ2 在对称随机假设下，J-散度最小化如何与基于似然的估计相关联？
• RQ3 I-散度和 J-散度最小化能否在单一概率框架下统一？
• RQ4 散度最小化与非参数似然最大化之间有何联系？
• RQ5 这些散度准则如何从随机模型和大样本行为中产生？

主要发现

• I-散度最小化在非参数指数族模型中，概率上等价于最大似然估计，因而得到合理解释。
• J-散度最小化对应于最大化对称似然准则，为 Jeffreys 的熵最大化提供了理论基础。
• 本文确立了 I-散度和 J-散度最小化均自然源于具有特定充分统计量的随机模型。
• 这些准则的渐近行为与大偏差原理一致，支持其在一致估计中的应用。
• 统一框架表明，散度最小化并非仅是启发式方法，而是一种具有统计基础的推断方法。
• 结果表明，在正则条件下，最小化 I-散度和 J-散度可导出一致估计量，且与指数族有紧密联系。