[论文解读] Theory of Dependent Hierarchical Normalized Random Measures

Changyou Chen, Wray Buntine+1 more|arXiv (Cornell University)|May 18, 2012

Bayesian Methods and Mixture Models参考文献 19被引用 5

一句话总结

本文通过在泊松过程和完全随机测度（CRM）上进行操作，构建依赖性归一化随机测度（NRM），发展了依赖性分层归一化随机测度（DHN-RM）的理论框架。引入了子采样、点转移和叠加操作以建模时间与层次依赖关系，证明了CRM层级与NRM层级操作的等价性，并为归一化广义伽马（NGG）过程提供了后验推断规则，从而实现了可扩展的时间依赖主题建模。

ABSTRACT

This paper presents theory for Normalized Random Measures (NRMs), Normalized Generalized Gammas (NGGs), a particular kind of NRM, and Dependent Hierarchical NRMs which allow networks of dependent NRMs to be analysed. These have been used, for instance, for time-dependent topic modelling. In this paper, we first introduce some mathematical background of completely random measures (CRMs) and their construction from Poisson processes, and then introduce NRMs and NGGs. Slice sampling is also introduced for posterior inference. The dependency operators in Poisson processes and for the corresponding CRMs and NRMs is then introduced and Posterior inference for the NGG presented. Finally, we give dependency and composition results when applying these operators to NRMs so they can be used in a network with hierarchical and dependent relations.

研究动机与目标

• 为在分层与时间结构中建模依赖性归一化随机测度（NRM）建立一个系统化的理论框架。
• 通过在非参数贝叶斯模型中实现灵活的依赖关系建模，解决机器学习中相关数据的挑战。
• 将归一化随机测度（NRM）与归一化广义伽马（NGG）过程的理论扩展至通过底层泊松过程上的操作支持依赖性。
• 为在CRM与NRM上组合依赖性算子（子采样、点转移、叠加）提供统一的操作演算。
• 推导NGG过程中子采样的后验推断规则，实现在动态设置下的高效贝叶斯推断。

提出的方法

• 通过具有特定Lévy测度的泊松过程构建完全随机测度（CRM），实现随机跳跃与原子的生成。
• 通过归一化CRM定义归一化随机测度（NRM），其中归一化广义伽马（NGG）过程是关键示例。
• 在泊松过程及其诱导的CRM与NRM上引入三种依赖性操作——子采样、点转移与叠加。
• 推导依赖性操作组合的规范形式，实现复杂操作序列的简化与等价性。
• 在NRM中应用切片采样进行后验推断，利用[GW11]与[JLP09]中的技术处理NGG后验。
• 证明等价性定理，表明在CRM层级上的操作与在归一化测度层级上的操作等价，确保跨尺度的一致性。

实验结果

研究问题

• RQ1 如何从泊松过程及其相关CRM系统地构建依赖性归一化随机测度？
• RQ2 在CRM与NRM上组合依赖性操作（子采样、点转移、叠加）的代数性质与组合规则是什么？
• RQ3 在观测数据条件下，NGG过程中子采样指示变量的后验分布能否以闭式表达？
• RQ4 CRM上的依赖性操作如何转化为对应NRM上的等价操作？其等价性成立的条件是什么？
• RQ5 这些操作在分层与时间依赖模型（如动态主题模型）中应用的理论基础是什么？

主要发现

• 本文建立了CRM操作与其对应归一化随机测度（NRM）操作之间的正式等价性，确保在CRM层级上的依赖建模能一致地传递至NRM层级。
• 推导出子采样、点转移与叠加操作组合的规范形式，实现对复杂依赖结构的简化与归一化。
• 推导出NGG过程中子采样的后验推断，表明若对应数据计数为正，则包含跳跃的后验概率为1；否则依赖于相对质量与接受率。
• 子采样下跳跃的后验接受率被证明是总质量与排除当前跳跃质量的函数，给出了通用情形与分层情形下的显式表达式。
• 该框架通过推导的后验规则支持时间依赖模型中的可扩展推断，实现高效的切片采样与后验更新。
• 理论结果通过在动态主题建模中的应用得到验证，该框架实现了对随时间演化的主题分布的灵活、非参数建模。