[论文解读] Weighted Gaussian entropy and determinant inequalities

Yuri Suhov, Salimeh Yasaei Sekeh+1 more|arXiv (Cornell University)|May 7, 2015

Statistical Mechanics and Entropy参考文献 11被引用 7

一句话总结

本文引入加权高斯微分熵作为微分熵的推广，通过信息论原理推导出正定矩阵的新行列式不等式。通过将 Ky Fan 型凹性和熵最大化推广至加权设置，利用正权重函数，作者建立了新的加权行列式不等式，当权重为常数时，这些不等式退化为经典结果。

ABSTRACT

We produce a series of results extending information-theoretical inequalities (discussed by Dembo--Cover--Thomas in 1989-1991) to a weighted version of entropy. The resulting inequalities involve the Gaussian weighted entropy; they imply a number of new relations for determinants of positive-definite matrices.

研究动机与目标

• 将经典行列式不等式（如 Ky Fan 不等式）推广至使用非恒定权重函数的加权框架。
• 通过基于加权熵的新型信息论方法，统一并推广现有行列式不等式。
• 建立涉及加权高斯微分熵与矩阵行列式的新不等式，并应用于协方差矩阵。
• 证明当权重函数为常数时，标准行列式不等式可作为特例出现。
• 提供一种系统化方法，利用加权熵在方差约束下的最大化性质推导加权行列式界。

提出的方法

• 将加权高斯微分熵 $ h^{ m w}_{\rho}(f_{\bf C}) $ 定义为在正态密度 $ f_{\bf C} $ 下，对 $ -\phi(\mathbf{x}) \log f_{\bf C}(\mathbf{x}) $ 的期望，其中 $ \phi $ 为正权重函数。
• 引入加权熵泛函 $ \sigma_{\phi}(\mathbf{C}) = \frac{\alpha_{\phi}(\mathbf{C})}{2} \log[(2\pi)^d \det \mathbf{C}] + \frac{\log e}{2} \operatorname{tr}(\mathbf{C}^{-1} \boldsymbol{\Phi}_{\mathbf{C},\phi}) $，其中 $ \alpha_{\phi}(\mathbf{C}) = \mathbb{E}[\phi(\mathbf{X})] $ 且 $ \boldsymbol{\Phi}_{\mathbf{C},\phi} = \mathbb{E}[\phi(\mathbf{X}) \mathbf{X} \mathbf{X}^T] $。
• 证明加权 Ky Fan 不等式：$ \sigma_{\phi}(\lambda_1 \mathbf{C}_1 + \lambda_2 \mathbf{C}_2) \geq \lambda_1 \sigma_{\phi}(\mathbf{C}_1) + \lambda_2 \sigma_{\phi}(\mathbf{C}_2) $，当且仅当 $ \lambda_1 \lambda_2 = 0 $ 时取等，前提为权重函数满足凸性条件。
• 利用条件加权熵与独立性假设，推导独立高斯向量和的次可加性性质。
• 建立多变量正态分布中加权熵的链式法则，将 $ \sigma_{\phi}(\mathbf{C}) $ 分解为条件分量。
• 推导一个关键不等式（定理 6.6），将加权熵与对角线及主子式行列式关联：$ \alpha(\mathbf{C}) \log \det \mathbf{C} - \log e \cdot \operatorname{tr}(\mathbf{C}^{-1} \boldsymbol{\Phi}) \leq \alpha(\mathbf{C}) \log \prod_i C_{ii} + \log e \sum_i C_{ii}^{-1} \Phi_{ii} $。

实验结果

研究问题

• RQ1 能否将如 Ky Fan 不等式等经典行列式不等式推广至使用非恒定权重函数的加权熵框架？
• RQ2 权重函数需满足何种条件，才能保证加权熵泛函 $ \sigma_{\phi}(\mathbf{C}) $ 关于协方差矩阵 $ \mathbf{C} $ 的凹性？
• RQ3 加权熵与行列式不等式在矩阵凸组合与条件独立结构下如何表现？
• RQ4 多变量高斯分布的加权熵与其边缘分布和条件分布之间存在何种关系？
• RQ5 能否通过利用加权熵在矩约束下的最大化性质，推导出新的行列式界？

主要发现

• 本文建立了加权 Ky Fan 不等式：$ \sigma_{\phi}(\lambda_1 \mathbf{C}_1 + \lambda_2 \mathbf{C}_2) \geq \lambda_1 \sigma_{\phi}(\mathbf{C}_1) + \lambda_2 \sigma_{\phi}(\mathbf{C}_2) $，当且仅当 $ \lambda_1 \lambda_2 = 0 $ 时取等，前提为权重函数满足凸性条件。
• 当权重函数 $ \phi \equiv 1 $ 时，加权熵退化为标准微分熵，且该不等式恢复经典 Ky Fan 行列式不等式。
• 提出一个新不等式（定理 6.6），对加权熵泛函进行界定：$ \alpha(\mathbf{C}) \log \det \mathbf{C} - \log e \cdot \operatorname{tr}(\mathbf{C}^{-1} \boldsymbol{\Phi}) \leq \alpha(\mathbf{C}) \log \prod_i C_{ii} + \log e \sum_i C_{ii}^{-1} \Phi_{ii} $，将行列式与对角线元素关联。
• 本文证明了独立高斯向量的加权熵具有次可加性：$ \varpi_{\psi}(\mathbf{A} + \mathbf{B}) \geq \varpi_{\chi}(\mathbf{A}) + \varpi_{\gamma}(\mathbf{B}) $，其中 $ \varpi $ 表示条件加权熵。
• 在 $ \phi $ 的适当条件下，证明了加权熵泛函 $ \sigma_{\phi}(\mathbf{C}) $ 关于 $ \mathbf{C} $ 的凹性，推广了标准的 $ \log \det \mathbf{C} $ 的凹性。
• 该框架可通过重新诠释已知结果的加权熵视角，推导出新的行列式不等式，提供统一的信息论基础。