[论文解读] Neural Feature Learning From Relational Database
本文提出R2N，一种新颖的深度神经网络架构，通过监督训练学习最优特征变换，自动实现关系型数据库的特征工程。该方法在四个Kaggle竞赛中超越了最先进的基于规则的方法，在仅需极少人工干预的情况下达到前6–10%的性能表现，并通过证明特征生成问题是NP难问题，建立了理论基础，同时分析了网络的表达能力。
Feature engineering is one of the most important but most tedious tasks in data science. This work studies automation of feature learning from relational database. We first prove theoretically that finding the optimal features from relational data for predictive tasks is NP-hard. We propose an efficient rule-based approach based on heuristics and a deep neural network to automatically learn appropriate features from relational data. We benchmark our approaches in ensembles in past Kaggle competitions. Our new approach wins late medals and beats the state-of-the-art solutions with significant margins. To the best of our knowledge, this is the first time an automated data science system could win medals in Kaggle competitions with complex relational database.
研究动机与目标
- 为解决数据科学中关系型数据库特征工程存在的手动、耗时的瓶颈问题。
- 克服基于规则的特征工程方法的局限性，如冗余性以及难以适应特定问题需求。
- 开发一种监督式、端到端的神经网络方法，直接从关系型数据中学习有意义的特征变换。
- 为关系型数据库中特征学习的表达能力与复杂度提供理论保障。
- 通过降低对专家知识的依赖，实现数据科学的民主化。
提出的方法
- 该方法使用关系树表示来编码多表连接，将每个训练样本基于外键关系转换为树状结构。
- 提出一种新颖的深度神经网络架构R2N（关系型转向量网络），用于处理这些关系树，以学习紧凑且有意义的特征表示。
- 网络对树状数据应用分层变换，每一层捕捉对连接关系路径的日益抽象的表示。
- 最后一层使用全连接网络生成适合下游机器学习模型的固定大小特征向量。
- 采用一种自举技术以提升模型在低数据场景下的鲁棒性与泛化能力。
- 该方法以端到端的监督方式训练，以目标标签的预测性能为优化目标。
实验结果
研究问题
- RQ1深度神经网络是否能在不依赖手工规则的前提下，有效从关系型数据库中学习到有用特征？
- RQ2所提出的R2N架构是否具备捕捉多表关系数据中复杂非线性关系的能力？
- RQ3在真实世界的数据科学竞赛中，R2N的性能与最先进的基于规则的特征工程系统（如DFS）相比如何？
- RQ4关系型数据库中特征学习问题的计算复杂度是多少？能否进行形式化刻画？
- RQ5理论分析能否证明所提出神经架构在关系型特征学习中的通用表达能力？
主要发现
- R2N在四个Kaggle竞赛中超越了最先进的基于规则的特征工程系统DFS，在其中三项竞赛中达到所有参赛者前6–10%的水平。
- 该方法仅需极少的数据准备工作，即可在数周内完成，远短于Kaggle竞赛通常持续数月的周期。
- 关系型数据库的特征生成问题被正式证明为NP难问题，为该任务的难度提供了理论基础。
- R2N架构展现出强大的表达能力，能够从关系树结构中学习复杂的非线性变换。
- 自举技术的使用显著提升了模型鲁棒性，优于单一R2N模型，增强了泛化能力。
- 所提出的方法实现了自动化、可扩展且领域无关的特征工程，降低了对专家知识的依赖，加速了数据科学工作流。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。