[论文解读] PSD Representations for Effective Probability Models

Alessandro Rudi, Carlo Ciliberto|arXiv (Cornell University)|Jun 30, 2021

Statistical Methods and Inference参考文献 30被引用 4

一句话总结

本文提出正定（PSD）模型作为一种新颖的概率密度估计框架，可同时实现最优逼近与学习速率、通过矩阵运算实现高效的求和与乘积规则闭式计算，以及非负性，从而克服了传统模型（如高斯混合模型或指数族）中表达能力与计算效率之间的权衡。

ABSTRACT

Finding a good way to model probability densities is key to probabilistic inference. An ideal model should be able to concisely approximate any probability while being also compatible with two main operations: multiplications of two models (product rule) and marginalization with respect to a subset of the random variables (sum rule). In this work, we show that a recently proposed class of positive semi-definite (PSD) models for non-negative functions is particularly suited to this end. In particular, we characterize both approximation and generalization capabilities of PSD models, showing that they enjoy strong theoretical guarantees. Moreover, we show that we can perform efficiently both sum and product rule in closed form via matrix operations, enjoying the same versatility of mixture models. Our results open the way to applications of PSD models to density estimation, decision theory and inference.

研究动机与目标

• 解决概率建模中长期存在的表达能力与计算效率之间的权衡问题。
• 开发一类能够简洁逼近复杂概率密度的模型，同时支持精确且高效的运算（如边缘化和乘积规则）。
• 为 PSD 模型的逼近与泛化建立理论保证。
• 提供一种压缩机制，以控制模型复杂度而不损失准确性。

提出的方法

• 本文采用一种新近提出的正定（PSD）模型类，通过允许负权重来推广混合模型，同时保持结果函数的非负性。
• 利用密度的光滑性类刻画 PSD 模型的逼近与学习特性，证明对于 $ \mathbb{R}^d $ 上 $ \beta $ 次可微的密度，其最小最大最优学习速率可达 $ n^{-\beta/(2\beta+d)} $ 阶。
• 将求和与乘积规则形式化为闭式矩阵运算：通过矩阵迹与 Schur 积实现边缘化，通过张量积与 Schur 积实现乘法。
• 提出一种基于 PSD 核矩阵低秩逼近的压缩方法，以控制组件数量，同时保持精度。
• 将该框架应用于隐马尔可夫模型（HMM）等推理任务，其中所有操作（观测、转移、边缘化、归一化）均通过矩阵代数以闭式完成。
• 理论推导表明，所有操作均保持 PSD 模型结构，支持参数化一致的递归推理。

实验结果

研究问题

• RQ1 PSD 模型是否能在保持概率运算计算效率的同时，实现密度估计的最优学习速率？
• RQ2 与混合模型及指数族相比，PSD 模型在逼近能力与计算可处理性方面表现如何？
• RQ3 在 PSD 框架中，能否以精确且高效的方式实现求和与乘积规则的闭式计算？
• RQ4 目标密度的光滑性与 PSD 模型所需组件数之间存在何种理论关系？
• RQ5 PSD 模型能否在 HMM 等序列推理任务中有效应用，且不损失一般性或效率？

主要发现

• PSD 模型对 $ \beta $ 次可微密度实现了最小最大最优学习速率 $ n^{-\beta/(2\beta+d)} $，当 $ \beta \geq d $ 时可克服维度灾难。
• 模型通过矩阵运算（包括 Schur 积与迹运算）支持精确且高效的求和与乘积规则，实现闭式推理。
• PSD 模型可使用 $ m = O(\varepsilon^{-d/\beta}) $ 个组件逼近任意非负光滑密度，实现紧凑表示。
• 该框架支持在 HMM 中进行递归贝叶斯推理，所有步骤（观测、转移、边缘化、归一化）均通过矩阵代数以闭式完成。
• 基于低秩逼近的压缩方法可控制模型复杂度，同时保持逼近精度与理论保证。
• 尽管线性组合中允许使用负权重，但最终模型仍为有效概率密度（处处非负），解决了传统混合模型的关键局限。