[论文解读] Towards the effectiveness of Deep Convolutional Neural Network based Fast Random Forest Classifier

Mrutyunjaya Panda|arXiv (Cornell University)|Sep 28, 2016

Machine Learning and ELM被引用 4

一句话总结

本文提出了一种新型混合分类器，结合深度卷积神经网络（DCNN）进行特征提取与快速随机森林（FRF）进行分类，利用DCNN的层次化特征学习能力以及FRF对高维、噪声数据的鲁棒性。该方法在Bioinformatics、手写数字和图像分割等基准数据集上实现了最先进水平的准确率与速度，通过有效的正则化和高效的集成学习优于传统方法。

ABSTRACT

Deep Learning is considered to be a quite young in the area of machine learning research, found its effectiveness in dealing complex yet high dimensional dataset that includes but limited to images, text and speech etc. with multiple levels of representation and abstraction. As there are a plethora of research on these datasets by various researchers , a win over them needs lots of attention. Careful setting of Deep learning parameters is of paramount importance in order to avoid the overfitting unlike conventional methods with limited parameter settings. Deep Convolutional neural network (DCNN) with multiple layers of compositions and appropriate settings might be is an efficient machine learning method that can outperform the conventional methods in a great way. However, due to its slow adoption in learning, there are also always a chance of overfitting during feature selection process, which can be addressed by employing a regularization method called dropout. Fast Random Forest (FRF) is a powerful ensemble classifier especially when the datasets are noisy and when the number of attributes is large in comparison to the number of instances, as is the case of Bioinformatics datasets. Several publicly available Bioinformatics dataset, Handwritten digits recognition and Image segmentation dataset are considered for evaluation of the proposed approach. The excellent performance obtained by the proposed DCNN based feature selection with FRF classifier on high dimensional datasets makes it a fast and accurate classifier in comparison the state-of-the-art.

研究动机与目标

• 解决在生物信息学和计算机视觉中常见的高维、噪声数据集上深度学习存在的过拟合与训练缓慢问题。
• 通过结合DCNN的层次化特征表示与快速随机森林（FRF）对多属性、小样本数据的鲁棒性，提升分类性能。
• 评估基于DCNN的特征选择在提升分类准确率与计算效率方面相较于传统方法的有效性。
• 在具有复杂高维特征的真实世界数据集上，展示所提出混合模型的优越性。

提出的方法

• 使用多层深度卷积神经网络（DCNN）自动从原始输入数据（如图像和高维向量）中学习层次化、抽象的表示。
• 在DCNN训练过程中应用dropout正则化，以防止过拟合，尤其是在高维数据的特征选择阶段。
• 将DCNN学习到的特征作为输入输入到快速随机森林（FRF）分类器中，该分类器针对属性多但样本少的数据集进行了优化。
• 通过反向传播端到端训练DCNN，随后进行特征提取，并将所得嵌入特征输入FRF以完成最终分类。
• 通过交叉验证对DCNN和FRF组件的超参数进行优化，以在准确率与训练速度之间取得平衡。
• 在包括Bioinformatics、MNIST和图像分割在内的多样化数据集上评估模型，以验证其泛化能力与性能。

实验结果

研究问题

• RQ1 基于DCNN的特征提取流程是否能有效降低高维、噪声数据集中的过拟合并提升表示质量？
• RQ2 将DCNN特征与快速随机森林结合，相较于独立模型，是否能显著提升分类准确率与速度？
• RQ3 在小样本、多属性数据集上，DCNN组件中的dropout正则化在多大程度上提升了泛化能力？
• RQ4 所提出的混合模型是否在MNIST和生物信息学数据等基准数据集上优于最先进方法？

主要发现

• 所提出的DCNN-FRF混合模型在高维数据集（包括Bioinformatics和图像分割）上的分类准确率显著优于基线方法。
• 将DCNN特征学习与FRF结合显著降低了过拟合，尤其在属性数多于样本数的数据集中表现更优。
• DCNN组件中使用dropout有效缓解了特征选择过程中的过拟合，提升了模型泛化能力。
• 由于快速随机森林分类器的高效性，该模型的训练与推理时间明显快于传统深度学习模型。
• 在MNIST手写数字数据集上，所提方法实现了具有竞争力的准确率，同时保持了高计算效率。
• 结果表明，该混合方法在具有复杂高维特征且训练样本有限的数据集中尤为有效。