[论文解读] Rényi Divergence and Majorization

Tim van Erven, Peter Harremoës|arXiv (Cornell University)|Jan 25, 2010

Statistical Mechanics and Entropy参考文献 6被引用 27

一句话总结

本文在连续概率空间中建立了Rényi散度与广义主要化理论之间的深层联系，表明Rényi散度自然地作为广义主要化下随机序的度量。研究证明，Rényi散度刻画了i.i.d.序列中排序函数ρ-范数的渐近增长速率，通过猜测矩提供了新的操作解释，并将经典结果从有限情形推广至连续情形。

ABSTRACT

Rényi divergence is related to Rényi entropy much like information divergence (also called Kullback-Leibler divergence or relative entropy) is related to Shannon's entropy, and comes up in many settings. It was introduced by Rényi as a measure of information that satisfies almost the same axioms as information divergence. We review the most important properties of Rényi divergence, including its relation to some other distances. We show how Rényi divergence appears when the theory of majorization is generalized from the finite to the continuous setting. Finally, Rényi divergence plays a role in analyzing the number of binary questions required to guess the values of a sequence of random variables.

研究动机与目标

• 通过Rényi散度将主要化理论从有限情形推广至连续概率空间。
• 在连续设定中建立Rényi散度作为随机序的自然度量。
• 将Rényi散度与i.i.d.序列中排序函数ρ-范数的渐近行为联系起来。
• 通过猜测矩和二元问题复杂度，为Rényi散度提供操作解释。
• 将已知的Rényi熵与散度结果推广至超出概率测度的一般测度。

提出的方法

• 使用Radon-Nikodym导数dP/dQ的排序函数的ρ-范数来表征Rényi散度。
• 应用数据处理不等式并取有限划分上的上确界，将Rényi散度扩展至连续空间。
• 利用控制收敛定理证明Rényi散度在α=0和α=1处的连续性与极限。
• 利用Hölder不等式和幂平均不等式推导排序函数ρ-范数的界。
• 利用i.i.d.序列上Rényi散度的可加性，证明界的渐近紧致性。
• 依赖上确界交换技巧，将D∞(P‖Q)的定义扩展至一般可测空间。

实验结果

研究问题

• RQ1 Rényi散度在连续概率空间中与主要化有何关系？
• RQ2 Rényi散度能否通过似然比dP/dQ的排序函数的ρ-范数来表征？
• RQ3 i.i.d.序列中排序函数ρ-范数的渐近行为是什么？
• RQ4 Rényi散度如何从马尔可夫序理论与随机优势理论中自然出现？
• RQ5 Rényi散度在多大程度上可从概率测度推广至正测度？

主要发现

• Rényi散度是排序函数ρ-范数的归一化对数的极限：当n→∞时，-1/n log||r(X₁ⁿ)||_ρ = D_α(P‖Q)，其中α = 1/(1+ρ)。
• 对所有n，不等式 -1/n log||r(X₁ⁿ)||_ρ ≥ D_α(P‖Q) 成立，且渐近紧致。
• Rényi散度在集合A = {α | 0≤α≤1 或 D_α(P‖Q)<∞} 上关于α连续，且关于α非减。
• 利用控制收敛定理推导出极限 lim_{α↓0} D_α(P‖Q) = -log Q(p>0)。
• 当α=1时，Rényi散度收敛至Kullback-Leibler散度D(P‖Q)，确认其与标准相对熵的一致性。
• 通过可测集上的上确界，将表征式 D_∞(P‖Q) = log ess sup dP/dQ 扩展至一般可测空间。