[论文解读] The Mondrian Process for Machine Learning

Matej Balog, Yee Whye Teh|arXiv (Cornell University)|Jul 18, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用 4

一句话总结

本文分析了竞争性指数分布随机变量的随机行为，推导出最小值（W）、最大值（Z）及其差值（O）的联合分布，以及指示变量 M（表示哪个变量更小）。研究证明 W 与 (M,O) 独立，且 M 与 W 独立，其中 M 服从伯努利分布，W 服从指数分布。

ABSTRACT

This report is concerned with the Mondrian process and its applications in machine learning. The Mondrian process is a guillotine-partition-valued stochastic process that possesses an elegant self-consistency property. The first part of the report uses simple concepts from applied probability to define the Mondrian process and explore its properties. The Mondrian process has been used as the main building block of a clever online random forest classification algorithm that turns out to be equivalent to its batch counterpart. We outline a slight adaptation of this algorithm to regression, as the remainder of the report uses regression as a case study of how Mondrian processes can be utilized in machine learning. In particular, the Mondrian process will be used to construct a fast approximation to the computationally expensive kernel ridge regression problem with a Laplace kernel. The complexity of random guillotine partitions generated by a Mondrian process and hence the complexity of the resulting regression models is controlled by a lifetime hyperparameter. It turns out that these models can be efficiently trained and evaluated for all lifetimes in a given range at once, without needing to retrain them from scratch for each lifetime value. This leads to an efficient procedure for determining the right model complexity for a dataset at hand. The limitation of having a single lifetime hyperparameter will motivate the final Mondrian grid model, in which each input dimension is endowed with its own lifetime parameter. In this model we preserve the property that its hyperparameters can be tweaked without needing to retrain the modified model from scratch.

研究动机与目标

• 刻画两个独立指数分布随机变量中较小者之最小值、最大值及指示变量的联合分布。
• 确定 W = min{X,Y}、M = 1_{X≤Y} 和 O = |X−Y| 的边缘分布与联合分布。
• 证明 W 与 (M,O) 对以及 W 与 M 之间的随机独立性。
• 计算关键概率如 P(W ≤ w, M = 1, O ≤ t)，并验证其对称补情况。

提出的方法

• 通过条件期望 X 的取值，利用指数分布的无 memory 性质计算 P(M = 1)。
• 利用当 X ~ Exp(λ)，Y ~ Exp(μ)，且 X,Y 独立时，min{X,Y} ~ Exp(λ + μ) 的事实。
• 推导 P(W > s) = exp(−(λ + μ)s) 以确定 W 的分布。
• 通过条件化 X 并利用独立性，将联合事件 {W ≤ w, M = 1, O ≤ t} 用 X 和 Y 表示。
• 通过在 x ∈ [s, ∞) 上积分计算 P(W ≤ w, M = 1, O ≤ t)，其中使用 P(Y ≥ x) = exp(−μx)。
• 通过验证 P(W ≤ w, M = 1) = P(W ≤ w)P(M = 1) 来证明独立性，使用推导出的表达式。

实验结果

研究问题

• RQ1 当 X 和 Y 是参数分别为 λ 和 μ 的独立指数分布随机变量时，W = min{X,Y} 的分布是什么？
• RQ2 X ≤ Y 的概率，即 P(M = 1) 是多少？M 的分布是什么？
• RQ3 {W > s} 和 {M = 1} 两个事件是否随机独立？如何证明？
• RQ4 联合概率 P(W ≤ w, M = 1, O ≤ t) 是多少？它与边缘分布有何关系？
• RQ5 W 与 (M,O) 是否独立？有何证据支持？

主要发现

• W = min{X,Y} 服从参数为 λ + μ 的指数分布，因此 P(W > s) = exp(−(λ + μ)s)。
• M = 1_{X≤Y} 服从成功概率为 λ / (λ + μ) 的伯努利分布，因此 P(M = 1) = λ / (λ + μ)。
• 事件 {W > s} 与 {M = 1} 独立，因为 P(W > s, M = 1) = P(W > s)P(M = 1)。
• 联合概率 P(W ≤ w, M = 1, O ≤ t) 推导为 (λ / (λ + μ)) (1 − exp(−(λ + μ)w))，其中 w ≥ 0 且 t ≥ 0。
• P(W ≤ w, M = 0, O ≤ t) 具有对称性，且在相同条件下等于 (μ / (λ + μ)) (1 − exp(−(λ + μ)w))。
• W 与 (M,O) 独立，因为联合分布可分解为 W 与 (M,O) 的边缘分布的乘积。