[论文解读] Quantifying the information lost in optimal covariance matrix cleaning

Christian Bongiorno, Lamia Lamrani|arXiv (Cornell University)|Oct 3, 2023

Evolutionary Algorithms and ApplicationsComputer Science参考文献 29被引用 3

一句话总结

本文通过在逆威沙特总体分布下推导旋转不变估计量的解析Kullback-Leibler（KL）散度，量化了最优协方差矩阵清洗中的信息损失。利用遗传编程回归器克服解析不可解性，研究发现Frobenius误差与KL散度的一阶项成正比，比例系数为1/4，从而建立了Frobenius最小化与信息论最优性之间的理论联系。

ABSTRACT

Obtaining an accurate estimate of the underlying covariance matrix from finite sample size data is challenging due to sample size noise. In recent years, sophisticated covariance-cleaning techniques based on random matrix theory have been proposed to address this issue. Most of these methods aim to achieve an optimal covariance matrix estimator by minimizing the Frobenius norm distance as a measure of the discrepancy between the true covariance matrix and the estimator. However, this practice offers limited interpretability in terms of information theory. To better understand this relationship, we focus on the Kullback-Leibler divergence to quantify the information lost by the estimator. Our analysis centers on rotationally invariant estimators, which are state-of-art in random matrix theory, and we derive an analytical expression for their Kullback-Leibler divergence. Due to the intricate nature of the calculations, we use genetic programming regressors paired with human intuition. Ultimately, using this approach, we formulate a conjecture validated through extensive simulations, showing that the Frobenius distance corresponds to a first-order expansion term of the Kullback-Leibler divergence, thus establishing a more defined link between the two measures.

研究动机与目标

• 阐明Frobenius误差最小化在协方差矩阵清洗中的信息论解释。
• 推导在逆威沙特总体分布下，真实逆威沙特协方差矩阵与其最优旋转不变估计量之间预期KL散度的解析表达式。
• 建立Frobenius误差与以KL散度度量的信息损失之间的定量关系。
• 利用基于机器学习的符号回归方法克服KL散度计算中的解析不可解性。
• 验证在有限样本条件下，Frobenius误差是否对应于KL散度展开的一阶项。

提出的方法

• 研究聚焦于保持样本特征向量而仅调整特征值的旋转不变估计量（RIE），其中Oracle估计量可最小化Frobenius误差。
• 假设总体协方差矩阵服从白化逆威沙特分布，以确保解析可处理性。
• 通过收敛级数展开推导KL散度，识别出首阶项为关键近似项。
• 采用遗传编程回归器（GPR）对KL散度表达式进行符号回归，以克服复杂解析积分的困难。
• 通过数值与解析一致性检验验证Frobenius误差与KL散度之间的关系。
• 将期望KL散度表示为参数r与q乘积的幂级数，且在特定条件下观察到收敛性。

实验结果

研究问题

• RQ1 在协方差矩阵估计中，Frobenius误差与以Kullback-Leibler散度度量的信息损失之间有何关系？
• RQ2 在逆威沙特总体分布下，最优旋转不变估计量的期望KL散度能否被解析表达？
• RQ3 KL散度展开中的首阶项起什么作用？它与Frobenius误差有何关联？
• RQ4 遗传编程回归器在多大程度上能准确恢复复杂信息论分歧的符号表达式？
• RQ5 在有限样本设置下，Frobenius误差是否可作为信息损失的合理代理？

主要发现

• 在白化逆威沙特分布下，Oracle估计量的期望Frobenius误差为 E[Frob] = pq / (p + q)。
• 期望KL散度可表示为收敛级数：E[KL] = Σ (-1)^(k-1) * (1/4 * rq)^k，其中首项为 (1/4) * rq。
• Frobenius误差恰好是KL散度展开首阶项的四倍，即 E[Frob] = 4 * (1/4 * rq) = rq，与主导项近似一致。
• 当p或q趋近于零时，期望KL散度约为期望Frobenius误差的四分之一，证实了1/4系数关系。
• 即使Frobenius误差有限，KL散度仍可能为无穷大，表明仅靠Frobenius误差无法检测完全的信息损失。
• 遗传编程回归器成功恢复了KL散度的符号形式，证明了混合机器学习-解析方法在高维信息论问题中的可行性。