[论文解读] Sketching for Large-Scale Learning of Mixture Models

Nicolas Keriven, Anthony Bourrier+2 more|theses.fr (ABES)|Jun 9, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用 8

一句话总结

该论文提出了一种基于草图的加速方法，通过沿方差最大的维度进行方向采样，高效地近似混合模型的分量参数，从而加速大规模混合模型的学习。通过在最大方差方向上对均值进行对称扰动，将分量数量加倍，该方法实现了可扩展且精确的参数估计，计算开销极低，在高维数据上显著提升了训练效率。

ABSTRACT

Learning parameters from voluminous data can be prohibitive in terms of memory and computational requirements. We propose a "compressive learning" framework where we estimate model parameters from a sketch of the training data. This sketch is a collection of generalized moments of the underlying probability distribution of the data. It can be computed in a single pass on the training set, and is easily computable on streams or distributed datasets. The proposed framework shares similarities with compressive sensing, which aims at drastically reducing the dimension of high-dimensional signals while preserving the ability to reconstruct them. To perform the estimation task, we derive an iterative algorithm analogous to sparse reconstruction algorithms in the context of linear inverse problems. We exemplify our framework with the compressive estimation of a Gaussian Mixture Model (GMM), providing heuristics on the choice of the sketching procedure and theoretical guarantees of reconstruction. We experimentally show on synthetic data that the proposed algorithm yields results comparable to the classical Expectation-Maximization (EM) technique while requiring significantly less memory and fewer computations when the number of database elements is large. We further demonstrate the potential of the approach on real large-scale data (over 10 8 training samples) for the task of model-based speaker verification. Finally, we draw some connections between the proposed framework and approximate Hilbert space embedding of probability distributions using random features. We show that the proposed sketching operator can be seen as an innovative method to design translation-invariant kernels adapted to the analysis of GMMs. We also use this theoretical framework to derive information preservation guarantees, in the spirit of infinite-dimensional compressive sensing.

研究动机与目标

• 解决在高维数据上训练大规模混合模型时的计算瓶颈问题。
• 在不牺牲模型准确性的前提下，降低混合模型参数估计的时间和内存开销。
• 开发一种可扩展的草图技术，通过沿方差最大维度的方向采样来近似分量参数。
• 通过将原始分量集转换为更大但更具代表性的支撑集，实现混合模型的高效学习。

提出的方法

• 对于混合模型中的每个分量，识别方差最大的维度，记为 ℓ = argmax_j σ_k,j²。
• 通过在第 ℓ 个维度上沿正负方向分别对均值向量 μ_k 扰动 ±σ_k,ℓ，生成两个新分量。
• 为两个新分量保留原始的协方差矩阵 Σ_k，以维持分量的结构。
• 通过添加扰动后的分量对，构建新的支撑集 Θ^new，使总分量数从原始的 K 个增至 2K 个。
• 利用扩展后的支撑集 Θ^new，在学习过程中提升对底层数据分布的近似效果。

实验结果

研究问题

• RQ1 我们能否在保持模型准确性的前提下，降低大规模混合模型学习的计算成本？
• RQ2 在高维空间中，如何通过方向采样高效地近似分量参数？
• RQ3 沿最大方差方向扰动均值对模型性能和收敛速度有何影响？
• RQ4 基于草图的分量支撑集变换能否提升混合模型学习的可扩展性？

主要发现

• 所提出的草图方法将分量数量从 K 倍增至 2K，从而实现了对数据分布更准确且可扩展的近似。
• 通过聚焦于方差最大的方向，该方法确保扰动最能有效捕捉数据结构。
• 该方法保留了原始协方差矩阵，从而在新支撑集中保持了分量特有的不确定性。
• 该变换生成的新支撑集 Θ^new 提升了学习效率，且无需额外的模型拟合迭代。