[论文解读] The Boundary Forest Algorithm for Online Supervised and Unsupervised Learning

Charles Mathy, Nate Derbinsky+3 more|arXiv (Cornell University)|May 12, 2015

Machine Learning and Data Classification参考文献 15被引用 8

一句话总结

Boundary Forest (BF) 算法是一种新颖的在线实例学习方法，通过构建数据驱动的树森林，实现在监督和无监督设置下的快速、增量式训练与查询。其训练时间复杂度为 O(DN log N)，测试时间复杂度为 O(D log N)，在速度上优于当前最先进方法，同时在基准数据集上的准确率与 k-NN 相当，因此特别适合实时流式应用。

ABSTRACT

We describe a new instance-based learning algorithm called the Boundary Forest (BF) algorithm, that can be used for supervised and unsupervised learning. The algorithm builds a forest of trees whose nodes store previously seen examples. It can be shown data points one at a time and updates itself incrementally, hence it is naturally online. Few instance-based algorithms have this property while being simultaneously fast, which the BF is. This is crucial for applications where one needs to respond to input data in real time. The number of children of each node is not set beforehand but obtained from the training procedure, which makes the algorithm very flexible with regards to what data manifolds it can learn. We test its generalization performance and speed on a range of benchmark datasets and detail in which settings it outperforms the state of the art. Empirically we find that training time scales as O(DNlog(N)) and testing as O(Dlog(N)), where D is the dimensionality and N the amount of data,

研究动机与目标

• 开发一种支持实时、增量学习且训练与推理延迟较低的学习算法。
• 实现在高维数据流上快速、可扩展的学习，无需批量处理。
• 在支持在线更新的同时，保持与 k-NN 相当的高泛化性能。
• 提供一种灵活的非参数化结构，可自适应于任意数据流形和类别边界。
• 在速度与可扩展性方面优于现有的在线树基方法与最近邻方法。

提出的方法

• 该算法构建一组边界树（BT），其中每个节点存储一个训练样本，边根据增量训练过程中的度量距离形成。
• 每棵树通过逐个插入数据点构建，节点选择基于与现有节点的接近程度，从而实现在无需重新训练的情况下在线学习。
• 每个节点的子节点数量在训练过程中动态确定，使模型能够灵活适应复杂的数据流形。
• 该方法使用基于度量的比较（例如欧氏距离）高效地遍历与更新树结构，实现对数时间复杂度的查询。
• 通过一种压缩最近邻原则的变体实现数据压缩，仅存储能提升分类准确率的样本点。
• 该算法使用相同的底层结构支持分类、回归和最近邻检索。

实验结果

研究问题

• RQ1 实例学习算法是否能在大规模场景下同时实现快速在线训练与低延迟推理？
• RQ2 Boundary Forest 在准确率与速度方面与 k-NN、随机森林和覆盖树相比表现如何？
• RQ3 该算法的在线特性在泛化性能方面与离线基线相比影响有多大？
• RQ4 该算法在数据维度与规模增加时的可扩展性如何？
• RQ5 通过智能数据选择，该方法是否能在仅使用训练数据的一小部分时仍保持高准确率？

主要发现

• Boundary Forest 的训练时间复杂度为 O(DN log N)，测试时间复杂度为 O(D log N)，其在训练与推理阶段的速度显著优于朴素 k-NN。
• 在分类基准测试中，BF 的错误率与 k-NN 相当，离线版本 BF 仅比在线版本的错误率高出不到 10%（错误率增加幅度极小）。
• BF 的训练时间远快于随机森林（RF），在所有测试数据集上，总训练与测试时间仅为朴素 k-NN 的一小部分。
• 在 dna 数据集上，BF-4（4 核版本）的训练时间缩短至 0.15 秒，而 RF 为 3.64 秒，单核 BF 为 0.34 秒。
• 在 mnist 数据集上，BF 训练耗时 103.9 秒，测试耗时 23.9 秒，而 RF 训练耗时 310 秒，测试仅耗时 0.3 秒，显示出 BF 在训练效率上的显著优势。
• 尽管 RF 的推理速度更快，但 BF 的整体训练-推理成本远低于 RF，因此更适合流式应用。