[论文解读] Rapid AkNN Query Processing for Fast Classification of Multidimensional Data in the Cloud

Nikolaos Nodarakis, Spyros Sioutas+3 more|arXiv (Cornell University)|Feb 27, 2014

Data Management and Algorithms参考文献 22被引用 8

一句话总结

该论文提出了一种基于MapReduce的新型方法，用于在云环境中高效处理多维数据的k-NN分类，通过空间分解减少距离计算。通过将数据空间划分为大小相等的区域，并将邻居搜索限制在相关分区内，该方法在大规模真实和合成数据集上实现了高可扩展性和高性能，相较于基线方法在不同数据分布和维度下均表现出更快的速度和更强的鲁棒性。

ABSTRACT

A $k$-nearest neighbor ($k$NN) query determines the $k$ nearest points, using distance metrics, from a specific location. An all $k$-nearest neighbor (A$k$NN) query constitutes a variation of a $k$NN query and retrieves the $k$ nearest points for each point inside a database. Their main usage resonates in spatial databases and they consist the backbone of many location-based applications and not only (i.e. $k$NN joins in databases, classification in data mining). So, it is very crucial to develop methods that answer them efficiently. In this work, we propose a novel method for classifying multidimensional data using an A$k$NN algorithm in the MapReduce framework. Our approach exploits space decomposition techniques for processing the classification procedure in a parallel and distributed manner. To our knowledge, we are the first to study the classification of multidimensional objects under this perspective. Through an extensive experimental evaluation we prove that our solution is efficient and scalable in processing the given queries. We investigate many different perspectives that can affect the total computational cost, such as different dataset distributions, number of dimensions, growth of $k$ value and granularity of space decomposition and prove that our system is efficient, robust and scalable.

研究动机与目标

• 解决大规模多维数据集中所有k-NN（AkNN）查询的高计算成本问题。
• 在云环境中实现基于AkNN模型的高效、分布式多维数据分类。
• 通过基于数据分布的智能空间分解，减少距离计算次数。
• 在不同数据分布、维度和集群配置下评估该方法的性能。
• 设计一种可扩展、鲁棒且高效的系统，以应对现实世界中的云环境分类工作负载。

提出的方法

• 该方法根据训练数据集的分布，将多维数据空间划分为大小相等、互不重叠的分区。
• 对于每个待分类点，算法识别可能包含其k个最近邻的关联分区（搜索区域）。
• 距离计算被限制在这些选定分区内的点上，显著缩小了搜索空间。
• 如果在初始搜索区域内找到的邻居少于k个，则逐步扩展该区域，直到获取到k个邻居。
• 最终分类将该点分配给其k个最近邻中占多数的类别，且仅基于相关分区中的候选点进行计算。
• 该实现完全兼容Hadoop MapReduce框架，无需修改Hadoop核心系统。

实验结果

研究问题

• RQ1 如何在基于云的分布式环境中高效并行化和扩展AkNN查询处理？
• RQ2 空间分解的粒度对多维数据中k-NN分类的性能和准确性有何影响？
• RQ3 该方法在不同数据分布（如均匀分布、幂律分布）和不同维度数量下的表现如何？
• RQ4 集群节点数量如何影响分类流水线的速度提升和可扩展性？
• RQ5 该方法能否在通过局部邻居搜索显著降低计算成本的同时，保持高分类准确性？

主要发现

• 所提出的kdANN+方法在集群规模增大时实现了显著的速度提升，尤其在均匀分布数据集上性能增益更明显，得益于更好的负载均衡。
• 在3D真实数据集上，kdANN+优于基线方法kdANN，后者在32个节点的集群上无法返回结果，凸显了所提方法的鲁棒性。
• 在合成数据集上，kdANN+与kdANN达到相当的速度提升，但性能始终更优，表明效率得到改善。
• 分类准确率在所有类别中均保持较高水平，平均真正例率为98%，假正例率为0.08%，即使是最具挑战性的类别（C）也达到94.14%的准确率。
• 该方法在不同数据分布和k值增加的情况下表现出强大的可扩展性和鲁棒性，通过自适应搜索区域扩展最小化了性能下降。
• 采用大小相等的空间分解减少了冗余的距离计算，并实现了无需修改Hadoop框架的高效分布式处理。