[论文解读] Quantum Expectation-Maximization for Gaussian Mixture Models

Iordanis Kerenidis, Alessandro Luongo+1 more|arXiv (Cornell University)|Aug 19, 2019

Machine Learning and Algorithms参考文献 57被引用 14

一句话总结

本文提出了量子期望最大化（QEM），一种用于拟合高斯混合模型（GMM）的量子算法，具备可证明的收敛性和精度保证。通过利用对数据的量子访问，QEM 在数据点数量上的运行时间为多对数级，当关键参数（如条件数和稀疏度因子）保持有界时，相较于经典 EM 算法，有望在大规模数据集上实现量子加速。

ABSTRACT

The Expectation-Maximization (EM) algorithm is a fundamental tool in unsupervised machine learning. It is often used as an efficient way to solve Maximum Likelihood (ML) estimation problems, especially for models with latent variables. It is also the algorithm of choice to fit mixture models: generative models that represent unlabelled points originating from $k$ different processes, as samples from $k$ multivariate distributions. In this work we define and use a quantum version of EM to fit a Gaussian Mixture Model. Given quantum access to a dataset of $n$ vectors of dimension $d$, our algorithm has convergence and precision guarantees similar to the classical algorithm, but the runtime is only polylogarithmic in the number of elements in the training set, and is polynomial in other parameters - as the dimension of the feature space, and the number of components in the mixture. We generalize further the algorithm in two directions. First, we show how to fit any mixture model of probability distributions in the exponential family. Then, we show how to use this algorithm to compute the Maximum a Posteriori (MAP) estimate of a mixture model: the Bayesian approach to likelihood estimation problems. We discuss the performance of the algorithm on a dataset that is expected to be classified successfully by this algorithm, arguing that on those cases we can give strong guarantees on the runtime.

研究动机与目标

• 开发一种量子算法，以复现经典期望最大化（EM）在高斯混合模型（GMM）上的收敛性和精度行为。
• 将量子 EM 框架扩展至指数族中的基部分布为其他分布的混合模型。
• 分析该量子算法的运行时间复杂度，并建立其在何种条件下相对于经典 EM 算法具有量子优势。
• 通过在真实数据集（如 VoxForge）上的实证评估，验证算法性能，重点分析条件数和误差容限等关键参数。

提出的方法

• 该算法使用对数据集的量子访问，通过预处理步骤以运行时间 Õ(n) 准备为量子态。
• 采用量子线性代数技术，包括量子奇异值变换和量子态制备，以高效计算分量责任度并更新参数。
• 使用幅值估计算法和量子层析技术，以受控误差界 δθ 和 δμ 估计混合权重和协方差矩阵。
• 对协方差矩阵应用阈值处理，以控制条件数 κ(Σ)，确保数值稳定性和有界运行时间。
• 通过将先验分布引入似然函数，支持最大似然（ML）和最大后验概率（MAP）估计。
• 采用截断正态噪声的扰动技术，以模拟鲁棒性，并在误差约束下保持参数精度。

实验结果

研究问题

• RQ1 能否设计一种量子算法，以复现经典 EM 在 GMM 上的收敛性和精度行为？
• RQ2 拟合 GMM 的量子运行时间复杂度是多少？在何种参数范围内，其相对于经典 EM 算法可实现加速？
• RQ3 关键量子参数（如条件数、稀疏度和误差容限）如何影响量子 EM 算法的性能与可扩展性？
• RQ4 量子 EM 框架能否推广至高斯分布以外的指数族分布？
• RQ5 有哪些实证证据支持在真实世界 GMM 拟合任务中实现量子加速？

主要发现

• 在 VoxForge 数据集上，QEM 使用 δμ = 0.5 和 δθ = 0.038 时达到 98.7% 的测试准确率，优于经典 EM 的 97.1% 准确率。
• 数据矩阵的条件数 κ(V) 在训练迭代过程中保持稳定，表明对数据累积具有鲁棒性。
• 将协方差矩阵的条件数阈值控制在 0.07 以内，显著减少了误差传播并改善了模型正则化。
• 该算法每次迭代的运行时间为 Õ(d²k⁴.⁵η³κ(V)κ(Σ)μ(Σ)/δμ³)，对 n 的依赖为多对数级，表明在 n 较大时可能实现量子优势。
• 实证分析表明，在实际场景中，有效条件数 κ(Σ) 及 μ(Σ) 等其他参数保持有界，支持其实际可行性。
• 训练过程中引入噪声提升了鲁棒性，所有 7 组初始化在适当超参数调优下均成功收敛。