[论文解读] Rectangular Bounding Process

Xuhui Fan, Bin Li+1 more|arXiv (Cornell University)|Mar 10, 2019

Data Management and Algorithms被引用 11

一句话总结

该论文提出了矩形边界过程（RBP），一种新颖的非参数划分先验，用于多维空间，通过独立生成的矩形边界框来包围数据点，避免了基于切割方法中常见的过度划分问题。RBP 确保了自一致性，从而可扩展至无界区域，并在回归树和关系模型中以更少、更简洁的区块实现具有竞争力的性能。

ABSTRACT

Stochastic partition models divide a multi-dimensional space into a number of rectangular regions, such that the data within each region exhibit certain types of homogeneity. Due to the nature of their partition strategy, existing partition models may create many unnecessary divisions in sparse regions when trying to describe data in dense regions. To avoid this problem we introduce a new parsimonious partition model -- the Rectangular Bounding Process (RBP) -- to efficiently partition multi-dimensional spaces, by employing a bounding strategy to enclose data points within rectangular bounding boxes. Unlike existing approaches, the RBP possesses several attractive theoretical properties that make it a powerful nonparametric partition prior on a hypercube. In particular, the RBP is self-consistent and as such can be directly extended from a finite hypercube to infinite (unbounded) space. We apply the RBP to regression trees and relational models as a flexible partition prior. The experimental results validate the merit of the RBP {in rich yet parsimonious expressiveness} compared to the state-of-the-art methods.

研究动机与目标

• 为解决基于切割的随机划分模型（如 Mondrian 过程）在稀疏区域引起的过度划分问题。
• 开发一种自一致的非参数划分先验，可从有限超立方体扩展至无限、无界空间。
• 为多维特征空间中的数据同质性建模，提供一种灵活但简洁的替代方案，以替代规则网格和层次划分。
• 通过具有有利理论性质的基于边界框的划分先验，实现回归树和关系模型中的高效推断。

提出的方法

• RBP 通过在每个维度上独立生成的阶跃函数生成矩形边界框，其中每个框由值为 1 的区间定义，其余位置为 0。
• 每个边界框通过记忆无指数分布确定其长度，通过均匀分布确定起始位置，从而确保交换性与可处理的推断。
• 该过程具有自一致性：子域上的划分分布与全领域边际分布一致，从而可通过柯尔莫哥洛夫扩展定理直接扩展至无限空间。
• 通过预算参数控制边界框的期望总体积，实现大框与小框之间的权衡。
• 采用边缘似然分解方法，将边界框上的联合分布因子化，从而实现高效的 MCMC 推断。
• 该方法利用边界框之间的独立性以及位置的条件均匀性，推导出适用于吉布斯采样的可处理后验条件分布。

实验结果

研究问题

• RQ1 基于边界框的划分过程是否能在保持建模精度的同时，比基于切割的模型更具简洁性？
• RQ2 当将 RBP 限制在子域时，其自一致性是否仍成立，从而可扩展至无界空间？
• RQ3 在回归树和关系模型中，RBP 与最先进划分先验相比表现如何？
• RQ4 RBP 是否能以更少、更大的区块实现与规则网格或层次模型相当的性能？

主要发现

• 与基于切割的模型（如 Mondrian 过程）相比，RBP 实现了显著更简洁的划分，减少了稀疏区域中的无谓分割。
• RBP 的自一致性特性使其可直接从有限超立方体扩展至无限多维空间，具有关键的理论优势。
• 在回归任务中，RBP 以比基线模型更少的区块实现了具有竞争力的预测精度，证明了模型效率的提升。
• 在合成数据集和真实世界数据集上的实验结果表明，RBP 在最小化过度划分的同时，展现出丰富的表达能力。
• RBP 的 MCMC 推断过程高效且可扩展，使其在复杂建模任务中具备实际应用潜力。