[论文解读] Semantic Classification of Tabular Datasets via Character-Level Convolutional Neural Networks

Paul Azunre, Craig Corcoran+7 more|arXiv (Cornell University)|Jan 24, 2019

Topic Modeling参考文献 33被引用 6

一句话总结

本文提出一种基于字符级卷积神经网络（CNN）的方法，用于对表格数据列进行语义分类，通过从模拟数据到真实世界CKAN标注数据集的迁移学习实现。该方法在仅使用原始文本的情况下，实现了对数据类型分类、从社交媒体文本预测用户年龄以及检测垃圾信息的高准确率，表明无需元数据的字符级建模可实现具有竞争力的性能，尤其在结合迁移学习时表现更优。

ABSTRACT

A character-level convolutional neural network (CNN) motivated by applications in "automated machine learning" (AutoML) is proposed to semantically classify columns in tabular data. Simulated data containing a set of base classes is first used to learn an initial set of weights. Hand-labeled data from the CKAN repository is then used in a transfer-learning paradigm to adapt the initial weights to a more sophisticated representation of the problem (e.g., including more classes). In doing so, realistic data imperfections are learned and the set of classes handled can be expanded from the base set with reduced labeled data and computing power requirements. Results show the effectiveness and flexibility of this approach in three diverse domains: semantic classification of tabular data, age prediction from social media posts, and email spam classification. In addition to providing further evidence of the effectiveness of transfer learning in natural language processing (NLP), our experiments suggest that analyzing the semantic structure of language at the character level without additional metadata---i.e., network structure, headers, etc.---can produce competitive accuracy for type classification, spam classification, and social media age prediction. We present our open-source toolkit SIMON, an acronym for Semantic Inference for the Modeling of ONtologies, which implements this approach in a user-friendly and scalable/parallelizable fashion.

研究动机与目标

• 开发一种鲁棒且可扩展的方法，用于对表格数据列进行语义分类，而无需依赖语言学预处理或元数据。
• 探索字符级CNN在捕捉非结构化文本语义结构方面对下游分类任务的有效性。
• 通过从模拟数据到真实世界数据的迁移学习，减少对大规模标注数据集和高计算成本的依赖。
• 构建一个用户友好、开源的框架（SIMON），用于在多种自然语言处理应用中实现可扩展、可并行化的文本分类。
• 在多样化领域中评估该方法的性能：数据类型分类、社交媒体文本中的年龄预测以及电子邮件垃圾信息检测。

提出的方法

• 在合成数据上训练字符级CNN，以学习基础语义类别（如整数、字符串、浮点数、分类变量、地理位置等）。
• 利用CKAN仓库中的手工标注数据应用迁移学习，将初始模型适配至真实世界数据中的不完美特征，并扩展类别覆盖范围。
• 模型在字符级别处理原始文本，从而对拼写错误、表情符号及社交媒体和非正式文本中常见的风格差异具有鲁棒性。
• 该框架采用多阶段训练流程：先在模拟数据上进行预训练，随后在真实标注数据上进行微调，且仅需极少的超参数调优。
• SIMON工具包基于Keras实现该方法，作为可通过pip安装的Python库，支持通过Horovod实现多GPU和分布式训练。
• 针对每个任务，数据被组织为表格形式，每个文本实例（如一条推文或邮件）对应一列，序列被截断为固定长度以供模型输入。

实验结果

研究问题

• RQ1 字符级CNN是否能在不依赖词级别分词或语言学元数据的情况下，有效分类表格数据列？
• RQ2 从模拟数据进行迁移学习在多大程度上提升了在真实世界、标注不完美的表格数据集上的性能？
• RQ3 当仅使用原始文本时，字符级模型在下游NLP任务（如年龄预测和垃圾信息检测）中的表现如何？
• RQ4 所提出的方法是否能在不使用额外元数据（如网络结构或邮件头信息）的情况下，达到与使用这些信息的最先进模型相当的准确率？
• RQ5 仅使用字符级表示的统一框架在多样化文本分类任务中的可扩展性和泛化潜力如何？

主要发现

• 在仅使用文本内容的情况下，该模型在电子邮件垃圾信息分类任务中达到97.9%的测试准确率，优于随机猜测，并接近使用邮件头信息的最先进模型。
• 在从推文预测用户年龄的任务中，该模型达到0.55的二分类准确率，显著高于随机猜测的0.33基准，表明具备有意义的预测能力。
• 迁移学习方法有效适应了真实世界数据中的不完美特征，并在仅使用少量标注数据和较低计算成本的情况下扩展了支持的类别数量。
• 该框架在表格数据类型分类任务中表现出色，能够基于列级统计模式正确识别分类变量、序数变量和地理位置等类别。
• 垃圾信息分类的ROC曲线显示优异的AUC表现，验证集AUC为97.6%，测试集AUC为97.9%，表明具有强大的泛化能力。
• 开源的SIMON工具包支持可扩展、并行化的训练与部署，兼容多GPU和分布式计算环境。