[论文解读] Optimal Transportation to the Entropy-Power Inequality

Olivier Rioul|arXiv (Cornell University)|Jan 30, 2017

Advanced Thermodynamics and Statistical Mechanics参考文献 31被引用 8

一句话总结

本文提出了一种基于最优传输的熵幂不等式（EPI）新证明，通过一个简单的变量变换，将高斯随机变量映射为任意分布的随机变量。该方法通过传输映射建立EPI及其逆不等式，自然地捕捉了等号成立的情形，并推广至Rényi熵和Young不等式，统一了多个经典结果，形成一个简洁而优美的理论框架。

ABSTRACT

We present a simple proof of the entropy-power inequality using an optimal transportation argument which takes the form of a simple change of variables. The same argument yields a reverse inequality involving a conditional differential entropy which has its own interest. It can also be generalized in various ways. The equality case is easily captured by this method and the proof is formally identical in one and several dimensions.

研究动机与目标

• 通过最优传输提供熵幂不等式（EPI）的简单统一证明。
• 在相同框架内自然捕捉等号成立的情形（即高斯随机变量）。
• 将EPI推广至Rényi熵，并与精确的Young卷积不等式建立联系。
• 证明相同的传输论证可导出涉及条件微分熵的逆不等式。
• 将该方法扩展至多变量及广义情形，包括线性组合与矩阵变换。

提出的方法

• 证明使用一个传输映射T，使得T(X*)与X同分布，其中X*为标准高斯分布。
• 该变换同时应用于X和Y，将i.i.d.高斯变量映射为任意i.i.d.变量，保持和式√λX + √(1−λ)Y的结构不变。
• 通过变量变换公式与Jensen不等式，比较和的微分熵与高斯情形下的熵。
• 该方法依赖于熵的标度性质，以及给定功率下高斯分布熵最大的事实。
• 通过选择满足1/p' + 1/q' = 1/r'且与λ和1−λ相关的共轭指数p, q, r，将该方法扩展至Rényi熵。
• 通过正交矩阵将该方法推广至多变量情形，通过或正交行矩阵实现矩阵变换，保持熵不等式结构不变。

实验结果

研究问题

• RQ1 能否通过最优传输映射的简单变量变换证明熵幂不等式？
• RQ2 该方法是否能在变量为高斯分布时自然捕捉等号成立的情形？
• RQ3 相同的传输论证是否可导出涉及条件微分熵的逆不等式？
• RQ4 基于该传输框架，是否可推导出Rényi熵的EPI？
• RQ5 该方法与精确Young不等式及其逆不等式有何关联？

主要发现

• 通过将高斯变量经传输映射至任意分布的变量变换，直接且初等证明了熵幂不等式。
• 当变量为高斯分布时，等号情形自动被捕捉，此时传输映射退化为恒等映射。
• 使用相同方法推导出涉及条件微分熵的逆不等式，该结果本身具有独立重要性。
• 该方法推广至Rényi熵，作为传输论证的极限情形，可恢复广义EPI。
• 该方法统一了EPI与精确Young不等式：Rényi EPI等价于精确Young不等式，当p,q,r→1时恢复经典EPI。
• 通过正交矩阵与或正交行矩阵，该证明可扩展至多变量及线性变换情形，保持熵不等式结构不变。