[论文解读] N-GrAM: New Groningen Author-profiling Model

Angelo Basile, Gareth Dwyer+4 more|arXiv (Cornell University)|Jul 12, 2017

Authorship Attribution and Profiling参考文献 4被引用 12

一句话总结

N-GrAM 是一种简单但非常有效的作者画像系统，采用线性SVM结合词项独元组和字符3-至5-元组（tf-idf加权）来预测英语、西班牙语、阿拉伯语和葡萄牙语中的性别与语言变体。在PAN 2017共享任务中，其平均准确率达到0.86，整体排名第一，尽管额外特征和复杂模型反而降低了性能。

ABSTRACT

We describe our participation in the PAN 2017 shared task on Author Profiling, identifying authors' gender and language variety for English, Spanish, Arabic and Portuguese. We describe both the final, submitted system, and a series of negative results. Our aim was to create a single model for both gender and language, and for all language varieties. Our best-performing system (on cross-validated results) is a linear support vector machine (SVM) with word unigrams and character 3- to 5-grams as features. A set of additional features, including POS tags, additional datasets, geographic entities, and Twitter handles, hurt, rather than improve, performance. Results from cross-validation indicated high performance overall and results on the test set confirmed them, at 0.86 averaged accuracy, with performance on sub-tasks ranging from 0.68 to 0.98.

研究动机与目标

• 开发一种统一模型，用于预测多语言社交媒体文本中的性别与语言变体。
• 评估将性别与语言变体预测整合到单一联合模型中是否能提升性能。
• 探究是否通过引入高级特征（如词性标注、地理实体、Twitter账号）可提升性能，相较于基础n-gram特征。
• 确定在作者画像任务中，特征工程与超参数调优哪一者能带来更大的性能提升。

提出的方法

• 采用线性SVM分类器，结合tf-idf加权，使用子线性词频缩放：$1 + \log(tf)$。
• 以词项独元组和字符3-至5-元组作为主要特征，通过min_df=2减少稀疏性。
• 对超参数（包括C、小写规范化、max_df和use_idf）进行全面的网格搜索。
• 评估性别与语言变体的联合建模与独立建模，最终选择联合方法。
• 测试了额外特征（如词性标注、地理实体、Twitter账号），但发现其对性能产生负面影响。
• 采用5折交叉验证，并在PAN 2017测试集上进行最终评估，结果按语言和任务聚合。

实验结果

研究问题

• RQ1 单一统一模型能否有效预测多语言社交媒体文本中的性别与语言变体？
• RQ2 引入领域特定特征（如Twitter账号、词性标注、地理实体）是否能提升作者画像性能？
• RQ3 在作者画像任务中，基础n-gram特征在多大程度上优于更复杂的手工特征？
• RQ4 为何某些特征（如平台特定术语或地名）在此数据集中表现良好，但可能不具备泛化能力？
• RQ5 在本设置下，超参数调优是否比特征工程对提升作者画像系统性能更有效？

主要发现

• 最终的N-GrAM系统在所有任务和语言上的平均准确率达到0.86，在PAN 2017共享任务中排名第一。
• 表现最佳的系统仅使用词项独元组和字符3-至5-元组，结合tf-idf加权与线性SVM，未引入额外特征。
• 添加如词性标注、地理实体和Twitter账号等特征会持续降低性能，所有语言的准确率均下降。
• 该模型在葡萄牙语变体预测中达到0.981的准确率，在西班牙语变体预测中达到0.962，表明在高变异性语言任务中表现强劲。
• 在性别预测方面，系统在英语上得分为0.823，在阿拉伯语上为0.801，测试集整体准确率为0.8253。
• 联合预测准确率为0.8361，显著优于LDR基线模型在联合任务上的得分0.6738。