[论文解读] Parallel Large-Scale Attribute Reduction on Cloud Systems

Junbo Zhang, Tianrui Li+1 more|arXiv (Cornell University)|Oct 6, 2016

Rough Sets and Fuzzy Logic参考文献 27被引用 8

一句话总结

本文提出PLAR，一种基于Spark的云系统上并行大规模属性约简的统一框架，结合基于粒度计算的初始化、模型并行和数据并行。通过同时高效评估所有特征候选并利用粒度表示降低内存开销，该方法在SDSS和Gisette等大规模数据集上，相比串行处理最高实现17.8倍加速，优于现有基于Hadoop的解决方案。

ABSTRACT

The rapid growth of emerging information technologies and application patterns in modern society, e.g., Internet, Internet of Things, Cloud Computing and Tri-network Convergence, has caused the advent of the era of big data. Big data contains huge values, however, mining knowledge from big data is a tremendously challenging task because of data uncertainty and inconsistency. Attribute reduction (also known as feature selection) can not only be used as an effective preprocessing step, but also exploits the data redundancy to reduce the uncertainty. However, existing solutions are designed 1) either for a single machine that means the entire data must fit in the main memory and the parallelism is limited; 2) or for the Hadoop platform which means that the data have to be loaded into the distributed memory frequently and therefore become inefficient. In this paper, we overcome these shortcomings for maximum efficiency possible, and propose a unified framework for Parallel Large-scale Attribute Reduction, termed PLAR, for big data analysis. PLAR consists of three components: 1) Granular Computing (GrC)-based initialization: it converts a decision table (i.e., original data representation) into a granularity representation which reduces the amount of space and hence can be easily cached in the distributed memory: 2) model-parallelism: it simultaneously evaluates all feature candidates and makes attribute reduction highly parallelizable; 3) data-parallelism: it computes the significance of an attribute in parallel using a MapReduce-style manner. We implement PLAR with four representative heuristic feature selection algorithms on Spark, and evaluate them on various huge datasets, including UCI and astronomical datasets, finding our method's advantages beyond existing solutions.

研究动机与目标

• 解决单机和基于Hadoop的属性约简方法在大数据场景下的可扩展性限制。
• 通过克服现有基于MapReduce的系统在I/O和内存瓶颈方面的问题，在云平台实现高效、高度并行的属性约简。
• 设计一个统一框架，支持多种启发式特征选择算法，具备高性能和低内存占用。
• 在真实世界的大规模数据集上评估所提出的PLAR框架的有效性和可扩展性。

提出的方法

• 基于粒度计算的初始化将原始决策表转换为粒度表示，将空间复杂度从O(|U||A|)降低至O(|U/A||A|)，并支持在分布式内存中高效缓存。
• 模型并行允许在多个核心上同时评估所有特征候选，显著提升高维数据的并行化效率。
• 数据并行通过MapReduce风格的分解方式，将每个属性的重要性计算并行化，实现计算在集群中的分布。
• 该框架基于Apache Spark实现，利用其内存计算能力和低延迟任务调度，相比Hadoop性能更优。
• 将四种代表性启发式算法——PR、SCE、LCE和CCE——集成到PLAR中，以评估其通用性和性能。
• 框架采用一种分解方法来并行化评估函数，实现在大规模场景下的高效重要性计算。

实验结果

研究问题

• RQ1 统一框架能否在云平台上实现大规模属性约简的高可扩展性和高效率？
• RQ2 在并行评估数千个特征时，模型并行对性能有何影响？
• RQ3 基于粒度计算的初始化在属性约简中在多大程度上减少了内存使用并加速了计算？
• RQ4 在大规模数据集上，PLAR与现有基于Hadoop的解决方案相比，在运行时间和加速比方面表现如何？
• RQ5 在大规模特征选择中，最大化性能的最优模型并行级别是什么？

主要发现

• 在Gisette数据集上，当模型并行级别为32时，PLAR相比基线PLAR-DP（仅数据并行）最高实现17.8倍加速。
• 在SDSS数据集上，使用128个核心的PLAR相比32个核心的SCE度量实现3.31倍加速，表现出良好的可扩展性。
• 基于粒度计算的初始化在所有数据集和属性度量上均显著减少了运行时间，尤其在KDD99和WEKA15360上效果最为明显。
• 每个属性的平均评估时间从32个核心下的4.649秒降至128个核心下的1.406秒，表明负载分配高效。
• PLAR通过最小化数据I/O并利用Spark的内存处理能力，相比现有基于Hadoop的解决方案，实现了更快的迭代周期。
• 该框架在核心数量增加时表现出有效扩展性，所有四种测试启发式算法（PR、SCE、LCE、CCE）均保持一致的加速比。