[论文解读] Using Deep Neural Networks to Automate Large Scale Statistical Analysis for Big Data Applications

Rongrong Zhang, Wei Deng+1 more|arXiv (Cornell University)|Aug 9, 2017

Data Stream Mining Techniques被引用 6

一句话总结

本文提出使用卷积神经网络（CNNs）通过开发用于自动模型识别的神经模型选择器和用于参数推断的神经参数估计器，实现大数据中统计分析的自动化。两个模型均在合成生成的标注数据上进行训练，在模拟和真实世界应用中均实现了高精度，证明了人工智能驱动的统计分析的可行性。

ABSTRACT

Statistical analysis (SA) is a complex process to deduce population properties from analysis of data. It usually takes a well-trained analyst to successfully perform SA, and it becomes extremely challenging to apply SA to big data applications. We propose to use deep neural networks to automate the SA process. In particular, we propose to construct convolutional neural networks (CNNs) to perform automatic model selection and parameter estimation, two most important SA tasks. We refer to the resulting CNNs as the neural model selector and the neural model estimator, respectively, which can be properly trained using labeled data systematically generated from candidate models. Simulation study shows that both the selector and estimator demonstrate excellent performances. The idea and proposed framework can be further extended to automate the entire SA process and have the potential to revolutionize how SA is performed in big data analytics.

研究动机与目标

• 为解决大数据统计分析（SA）中传统SA耗时且需专家干预的挑战。
• 通过深度神经网络将模型选择与参数估计重新表述为机器学习分类与回归问题。
• 开发并验证基于合成生成数据训练的神经模型选择器与神经参数估计器，实现准确的自动化SA。
• 在真实世界大数据（包括复杂回归模型）上展示所提框架的可扩展性与鲁棒性。
• 为未来实现统计分析全流程的端到端人工智能驱动自动化奠定基础。

提出的方法

• 构建一个卷积神经网络（CNN）作为“神经模型选择器”，利用候选模型的标注数据对数据样本进行其生成统计模型的分类。
• 在大规模合成生成的数据集上训练神经模型选择器，其中每个样本均标注其真实底层模型（如线性、逻辑、泊松回归）。
• 设计第二个CNN，即“神经参数估计器”，直接从数据中预测模型参数，绕过传统的估计方法（如最大似然估计或最小二乘法）。
• 通过系统性模拟生成训练、验证和测试数据，涵盖各种样本大小与模型配置，以确保泛化能力。
• 使用深度学习框架（如Caffe）训练CNN，并采用top-1与top-2准确率、Kolmogorov-Smirnov距离与BIC等指标评估性能。
• 通过将训练好的选择器应用于高维数据集（如Communities and Crime数据集）的子样本，将框架扩展至多变量模型与真实世界数据。

实验结果

研究问题

• RQ1 深度神经网络能否在无须人工干预的情况下，有效识别出数据样本所对应的正确统计模型？
• RQ2 在未知模型结构的情况下，深度神经网络在参数估计方面与传统统计方法相比准确度如何？
• RQ3 所提出的框架能否泛化至具有高维性与复杂依赖关系的真实世界大数据？
• RQ4 神经模型选择器与估计器的性能如何随样本大小与模型复杂度而变化？
• RQ5 神经模型选择与参数估计的集成能否实现统计分析全流程的自动化？

主要发现

• 在N=100、K=20个模型的情况下，神经模型选择器实现了92.1%的top-1准确率与99.2%的top-2准确率，显著优于传统方法（如BIC与贝叶斯因子）。
• 当N=900时，神经选择器达到97.9%的top-1准确率与99.7%的top-2准确率，在模拟研究中全面超越所有基准方法。
• 对于具有多个协变量的回归模型，神经模型选择器在N=100时准确率达87.86%，在N=400时达97.86%，展现出强大的泛化能力。
• 在Communities and Crime数据集的真实数据应用中，训练好的神经模型选择器成功将90个预测变量分类至其最可能的统计模型。
• 神经参数估计器生成了准确的参数估计，其估计密度在真实数据示例中与经验分布高度吻合。
• 该框架在实现统计分析全流程端到端自动化方面展现出巨大潜力，预示着向人工智能驱动的大数据分析范式转变。