[论文解读] Posterior convergence rates in non-linear latent variable models

Debdeep Pati, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Sep 23, 2011

Bayesian Methods and Mixture Models参考文献 16被引用 3

一句话总结

该论文研究了在单变量密度估计中，非线性潜变量模型的后验收缩率，其中潜变量为均匀分布U(0,1)，并通过具有高斯误差的随机非线性函数进行变换。在对回归函数使用高斯过程先验的前提下，作者在标准光滑性条件下，实现了最优的频率学率（仅相差对数因子），将后验收缩理论从离散混合模型扩展至连续混合测度。

ABSTRACT

Non-linear latent variable models have become increasingly popular in a variety of applications. However, there has been little study on theoretical properties of these models. In this article, we study rates of posterior contraction in univariate density estimation for a class of non-linear latent variable models where unobserved U(0,1) latent variables are related to the response variables via a random non-linear regression with an additive error. Our approach relies on characterizing the space of densities induced by the above model as kernel convolutions with a general class of continuous mixing measures. The literature on posterior rates of contraction in density estimation almost entirely focuses on finite or countably infinite mixture models. We develop approximation results for our class of continuous mixing measures. Using an appropriate Gaussian process prior on the unknown regression function, we obtain the optimal frequentist rate up to a logarithmic factor under standard regularity conditions on the true density.

研究动机与目标

• 研究非线性潜变量模型的理论性质，特别是密度估计中的后验收缩率。
• 将现有的后验收缩理论——此前仅限于有限或可数无限混合模型——扩展至连续混合测度。
• 为一类具有未观测到的U(0,1)潜变量和加性高斯噪声的非线性潜变量模型建立最优后验收缩率。
• 为连续混合测度开发近似结果，以支持理论分析。
• 证明在非线性回归函数上使用高斯过程先验，可实现最优频率学率（仅相差对数因子）。

提出的方法

• 将响应变量建模为潜变量U(0,1)的非线性函数，并加入加性高斯误差，形成与连续混合测度的卷积核。
• 将诱导密度空间表征为核与连续混合测度的卷积，从而实现对离散混合模型之外的分析。
• 在未知回归函数上使用高斯过程先验，以诱导混合测度的先验并保证光滑性。
• 为连续混合测度类建立近似结果，以控制真实密度与估计密度之间的距离。
• 在标准正则性条件下，应用后验收缩理论中的技术，包括熵和检验方法。
• 通过高斯过程的尾部概率和熵积分方法，推导后验集中性的界。

实验结果

研究问题

• RQ1 在具有连续混合测度的非线性潜变量模型中，后验分布围绕真实密度的收缩速率是多少？
• RQ2 此类模型的后验收缩率能否在相差对数因子的范围内达到最优频率学率？
• RQ3 在非线性潜变量框架中，对回归函数使用高斯过程先验如何影响后验集中性？
• RQ4 在密度估计背景下，连续混合测度具有何种近似性质？
• RQ5 该模型如何避免离散混合模型固有的聚类伪影，同时保持理论最优性？

主要发现

• 在标准光滑性和正则性条件下，后验收缩率实现了最优频率学率，仅相差对数因子。
• 通过在非线性回归函数上使用高斯过程先验，将潜变量U(0,1)映射到观测响应，模型实现了最优率。
• 作者为连续混合测度开发了新颖的近似结果，将后验收缩理论从离散混合模型扩展至更广范围。
• 通过使用连续潜变量空间，该方法避免了有限或无限离散混合模型中常见的聚类伪影。
• 后验集中性界通过熵积分和尾部概率技术推导得出，表明后验以期望速率收缩。
• 对于足够光滑的真实密度和适当的超参数选择，后验在真实密度的邻域内以最优速率（仅相差对数因子）集中。