[论文解读] Restricting exchangeable nonparametric distributions

Sinead A. Williamson, Steve MacEachern+1 more|arXiv (Cornell University)|Sep 5, 2012

Gaussian Processes and Bayesian Inference参考文献 24被引用 7

一句话总结

本文提出了一类可交换的非参数先验，将现有模型（如印度餐厅过程，IBP）的定义域限制在特定范围内，以显式控制每个数据点的特征数量分布。通过修改先验以强制实现特定的边缘分布（如固定特征数或重尾分布），该方法在原始IBP假设特征数服从泊松分布不适用的数据上，显著提升了模型的可解释性与预测性能，实验结果在合成图像与文本数据上得到验证。

ABSTRACT

Distributions over exchangeable matrices with infinitely many columns are useful in constructing nonparametric latent variable models. However, the distribution implied by such models over the number of features exhibited by each data point may be poorly-suited for many modeling tasks. In this paper, we propose a class of exchangeable nonparametric priors obtained by restricting the domain of existing models. Such models allow us to specify the distribution over the number of features per data point, and can achieve better performance on data sets where the number of features is not well-modeled by the original distribution.

研究动机与目标

• 解决现有可交换非参数模型（如IBP）的局限性，这些模型假设每个数据点的特征数量服从泊松分布。
• 开发一种框架，使研究者能够显式指定每个数据点的特征数量的边缘分布。
• 在泊松假设不成立的场景中（如具有幂律词频分布的文本数据，或具有固定特征数的图像数据）提升模型性能与可解释性。
• 为可交换矩阵模型中完全随机测度的定义域限制提供一种系统性方法。

提出的方法

• 通过约束每个数据点的特征数量先验分布，提出受限印度餐厅过程（rIBP），以用户指定的分布替代默认的泊松边缘分布。
• 采用截断特征数（如100）的IBP有限近似形式，以支持实际推理。
• 使用吉布斯采样进行特征分配与贝塔过程参数的后验推断，对受限参数引入马尔可夫链蒙特卡洛中的Metropolis-Hastings步骤。
• 应用重要性采样估算受限模型下的预测分布，权重来源于受限与非受限似然之比。
• 通过贝塔过程后验的加权样本近似预测分布，使用公式12进行重要性加权。
• 采用负二项分布建模文本数据中的重尾特征数量，替代标准IBP中的泊松假设。

实验结果

研究问题

• RQ1 限制每个数据点的特征数量分布，是否能提升潜在特征模型的可解释性？
• RQ2 强制采用非泊松的特征数量边缘分布，是否能提升真实世界数据上的预测性能？
• RQ3 如何修改现有可交换非参数模型（如IBP），以实现对每个数据点特征数量的灵活控制？
• RQ4 在参数空间受约束的受限模型中，哪些推理技术是有效的？
• RQ5 能否通过编码领域知识（如每张图像恰好有两个特征）来提升重建质量？

主要发现

• 在每个数据点恰好包含两个特征的合成图像数据中，受限IBP（rIBP）成功恢复了真实潜在特征，其重建质量优于标准IBP。
• 在20 Newsgroups文本数据集上，rIBP采用特征数量的负二项先验，在所有top-n标签排名中均实现了比标准IBP更高的分类准确率。
• 在n=5时，rIBP在前5个最可能标签中正确分类了91.8%的保留文档，而标准IBP为87.8%。
• 使用加权后验样本的重要性采样方法，实现了对受限模型下预测分布的精确估计。
• 该方法表明，将关于特征数量的领域知识融入模型，可获得更简洁且更具可解释性的模型。
• 结果证实，IBP中对特征数量的泊松假设在具有重尾特征分布的数据（如自然语言文本）中并非最优选择。