[论文解读] Spectral Methods for Nonparametric Models

Hsiao-Yu Fish Tung, Chao-Yuan Wu+2 more|arXiv (Cornell University)|Mar 31, 2017

Bayesian Methods and Mixture Models参考文献 23被引用 3

一句话总结

本文提出了一种用于非参数贝叶斯模型的谱方法，具体针对印度餐厅过程（IBP）和层次狄利克雷过程（HDP），利用高阶矩张量与张量分解，实现高效且统计一致的推断。该方法在计算速度和似然性能方面优于采样和变分推断方法，尤其在利用层次化数据结构时表现更优。

ABSTRACT

Nonparametric models are versatile, albeit computationally expensive, tool for modeling mixture models. In this paper, we introduce spectral methods for the two most popular nonparametric models: the Indian Buffet Process (IBP) and the Hierarchical Dirichlet Process (HDP). We show that using spectral methods for the inference of nonparametric models are computationally and statistically efficient. In particular, we derive the lower-order moments of the IBP and the HDP, propose spectral algorithms for both models, and provide reconstruction guarantees for the algorithms. For the HDP, we further show that applying hierarchical models on dataset with hierarchical structure, which can be solved with the generalized spectral HDP, produces better solutions to that of flat models regarding likelihood performance.

研究动机与目标

• 开发计算高效的推理算法，用于IBP和HDP等非参数贝叶斯模型，这些模型通常因采样或变分推断而计算缓慢。
• 将谱方法从先前仅用于参数模型（如LDA）扩展至具有无限或未知分量数量的非参数模型。
• 在HDP中利用层次化数据结构，以提升模型似然性能并减少数据不平衡带来的偏差。
• 通过测度集中与张量分解，为参数恢复与稳定性提供理论保证。
• 证明谱方法在真实世界数据集上，于速度与似然性能两方面均优于采样与变分推断方法。

提出的方法

• 推导IBP与HDP的低阶理论矩（最高至四阶），以构建可分解的对称张量。
• 使用超额相关分析（ECA）对高阶张量进行白化与降维，以实现稳定张量分解。
• 应用幂法对经验张量进行对称分解，以获得对应于隐变量的潜在因子与特征值。
• 对于HDP，将张量构造推广至任意层次树结构，支持多层分组数据建模。
• 采用快速计数草图张量分解（FC）以加速计算，尤其适用于大规模数据集。
• 在真实数据推断中，使用经验矩替代理论矩，以构建经验张量。

实验结果

研究问题

• RQ1 谱方法能否有效扩展至IBP与HDP等非参数模型，这些模型缺乏固定数量的分量？
• RQ2 对于第三阶张量退化（degenerate）的模型（如IBP），如何构建并分解高阶矩张量（高于三阶）？
• RQ3 在HDP中引入层次化数据结构是否能提升相比平坦模型的似然性能？
• RQ4 谱算法在真实世界数据集上是否能在速度与似然性能两方面均优于采样与变分推断方法？
• RQ5 在非参数模型中，使用谱推断进行潜在因子恢复与稳定性的理论保证为何？

主要发现

• 在Enron数据集上，使用快速计数草图（FC）的HDP谱算法在100个主题与三层结构下，实现了每词似然8.18，优于变分与采样基线方法。
• 在多领域情感分析数据集上，三层谱HDP模型在K=50且数据不平衡的情况下，似然达到8.17，显著优于平坦模型。
• 谱方法结合层次结构有效降低了数据不平衡带来的偏差，提升了对外部邮件与代表性不足产品类别的性能。
• 该算法计算速度极快，FC变体在Enron数据集上完成推断仅耗时不足2分钟，而MCMC采样器则需数小时。
• 实验结果表明，谱方法在大规模与结构化数据上，相比变分推断与MCMC，具有更高的似然性能与更快的收敛速度。
• 理论集中不等式证实，在弱正则性条件下，潜在因子与模型参数的恢复具有稳定且一致的性质。