[论文解读] Relative entropy and the multi-variable multi-dimensional moment problem

Tryphon T. Georgiou|ArXiv.org|Jun 7, 2005

Statistical Mechanics and Entropy参考文献 42被引用 22

一句话总结

本文提出了一种基于同伦的正则化方法，利用量子相对熵求解多变量、多维矩问题，特别适用于从二阶统计量进行谱估计。通过熵驱动的黎曼度量重归一化，建立了所有解的完整表征，实现了阵列信号处理和量子信息理论中的一致性功率谱重构。

ABSTRACT

Entropy-like functionals on operator algebras have been studied since the pioneering work of von Neumann, Umegaki, Lindblad, and Lieb. The most well-known are the von Neumann entropy $trace (ρ\log ρ)$ and a generalization of the Kullback-Leibler distance $trace (ρ\log ρ- ρ\log σ)$, refered to as quantum relative entropy and used to quantify distance between states of a quantum system. The purpose of this paper is to explore these as regularizing functionals in seeking solutions to multi-variable and multi-dimensional moment problems. It will be shown that extrema can be effectively constructed via a suitable homotopy. The homotopy approach leads naturally to a further generalization and a description of all the solutions to such moment problems. This is accomplished by a renormalization of a Riemannian metric induced by entropy functionals. As an application we discuss the inverse problem of describing power spectra which are consistent with second-order statistics, which has been the main motivation behind the present work.

研究动机与目标

• 解决谱分析和信号处理中出现的多变量、多维矩问题的解的存在性与完整表征。
• 为与观测到的二阶统计量一致的功率谱重构提供正则化框架，尤其适用于传感器阵列和雷达系统。
• 通过引入量子熵泛函，推广经典矩问题的解法，以确保解的正定性和唯一性。
• 开发一种系统性方法，描述矩问题的所有可行解，而不仅限于极值解。
• 通过熵诱导的黎曼度量建立几何结构，统一算子代数中的解族。

提出的方法

• 将量子相对熵 $\mathbb{S}(\rho\|\sigma) = \mathrm{trace}(\rho\log\rho - \rho\log\sigma)$ 用作正则化泛函，以在矩问题中选择解。
• 采用同伦方法连续变形参考密度，使其满足矩约束，确保收敛至极值解。
• 应用矩阵指数和对数的微分公式：$d\exp(A) = \int_0^1 e^{(1-\tau)A} \Delta e^{\tau A} d\tau$ 和 $d\log(A) = \int_0^\infty (A+\tau I)^{-1} \Delta (A+\tau I)^{-1} d\tau$。
• 定义非交换乘法算子 $M_C(\Delta) = \int_0^1 C^{1-\tau} \Delta C^{\tau} d\tau$，以表示矩阵指数和对数的微分。
• 利用算子 $M_C$ 及其逆，对熵诱导的黎曼度量进行重归一化，从而实现对解流形的几何描述。
• 通过熵最小化与同伦延拓求解矩约束 $R = \int_{\mathcal{S}} G_{\text{left}}(\theta) \rho(\theta) G_{\text{right}}(\theta) d\theta$，实现完整的解表征。

实验结果

研究问题

• RQ1 是否存在一个正定密度函数 $\rho(\theta)$，使得其满足给定的多维矩约束 $R = \int G_{\text{left}}(\theta) \rho(\theta) G_{\text{right}}(\theta) d\theta$？
• RQ2 如果此类密度存在，矩问题的所有可能解的完整集合是什么？
• RQ3 如何利用量子相对熵对解进行正则化，并在无穷多可行密度中唯一选择一个解？
• RQ4 解空间的几何结构是什么？如何利用熵诱导的黎曼度量对其进行参数化？
• RQ5 同伦方法能否有效构造矩问题的极值解，同时保持正定性和迹约束？

主要发现

• 同伦方法提供了一种有效且构造性的方式，利用量子相对熵作为正则化器，生成多变量、多维矩问题的极值解。
• 所有矩问题的解均可通过熵泛函诱导的重归一化黎曼度量完全描述，从而实现对可行密度的几何分类。
• 矩阵指数的微分由 $M_{e^A}(\Delta) = \int_0^1 e^{(1-\tau)A} \Delta e^{\tau A} d\tau$ 给出，该式在非交换设置下推广了交换乘法。
• 矩阵对数的微分为 $M_A^{-1}(\Delta)$，其中 $M_A(\Delta) = \int_0^1 A^{1-\tau} \Delta A^{\tau} d\tau$，证实了 Lieb 的一个关键结果。
• 矩问题的解空间是一个凸集，相对熵泛函确保极值解唯一且最不偏倚。
• 该框架成功解决了从二阶统计量重构功率谱的逆问题，在雷达、传感器阵列和量子态层析成像中具有应用价值。