[论文解读] Predicting Gender by First Name Using Character-level Machine Learning

Rosana C. B. Rego, Verônica M. L. Silva+1 more|arXiv (Cornell University)|Jun 18, 2021

Authorship Attribution and Profiling参考文献 39被引用 5

一句话总结

本文提出一种基于字符级别的机器学习与深度学习方法，通过独热编码的字符作为输入，预测巴西名字的性别。循环模型如BiLSTM的准确率超过96%，优于前馈网络和传统机器学习模型，表明序列建模在基于姓名的性别预测中极为有效。

ABSTRACT

Predicting gender by the first name is not a simple task. In many applications, especially in the natural language processing (NLP) field, this task may be necessary, mainly when considering foreign names. In this paper, we examined and implemented several machine learning algorithms, such as extra trees, KNN, Naive Bayes, SVM, random forest, gradient boosting, light GBM, logistic regression, ridge classifier, and deep neural network models, such as MLP, RNN, GRU, CNN, and BiLSTM, to classify gender through the first name. A dataset of Brazilian names is used to train and evaluate the models. We analyzed the accuracy, recall, precision, f1 score, and confusion matrix to measure the models' performances. The results indicate that the gender prediction can be performed from the feature extraction strategy looking at the names as a set of strings. Some models accurately predict gender in more than 95% of the cases. The recurrent models overcome the feedforward models in this binary classification problem.

研究动机与目标

• 研究字符级别的机器学习与深度学习模型在从名字预测性别方面的有效性。
• 比较传统机器学习算法（如SVM、随机森林）与深度神经网络（如CNN、RNN、BiLSTM）在二元性别分类任务中的性能表现。
• 使用准确率、精确率、召回率、F1分数和混淆矩阵等标准指标评估模型性能。
• 确定循环架构是否在捕捉名字中的序列模式以用于性别预测方面优于前馈网络。

提出的方法

• 使用独热编码对名字进行预处理，将每个字符转换为数值向量表示。
• 在编码后的名字特征上训练并评估了总共13种传统机器学习模型（如Extra Trees、LightGBM、SVM、逻辑回归）。
• 实现了五种深度学习模型——MLP、CNN、RNN、GRU和BiLSTM——以从字符级输入中学习分层和序列模式。
• 模型训练采用早停策略以防止过拟合，训练过程中应用了Dropout以提升泛化能力。
• 使用5折交叉验证评估性能，指标包括准确率、精确率、召回率、F1分数和混淆矩阵。
• 监控训练和验证的准确率与损失随训练轮次的变化，以评估收敛性和模型稳定性。

实验结果

研究问题

• RQ1 仅使用名字字符串，字符级别的机器学习与深度学习模型能否有效预测性别？
• RQ2 循环神经网络（RNN、GRU、BiLSTM）与前馈网络（MLP、CNN）在从名字进行性别预测方面表现如何比较？
• RQ3 在字符编码名字的性别分类任务中，哪种传统机器学习模型表现最佳？
• RQ4 数据集中性别比例失衡是否影响模型性能，模型如何应对这一问题？
• RQ5 在该二分类任务中，哪种模型架构能最大化准确率和F1分数？

主要发现

• BiLSTM模型在仅包含100%性别比例名字的数据集上达到了96.96%的最高准确率，优于所有其他模型。
• 同一数据集中，BiLSTM模型的精确率为0.9720，F1分数为0.9642，表明精确率与召回率之间具有良好的平衡。
• 在所有评估设置中，循环模型（BiLSTM、GRU、RNN）在准确率和F1分数上均持续优于前馈模型（MLP、CNN）。
• 在传统模型中，Extra Trees和随机森林分类器表现强劲，准确率超过94%，但仍不及最佳深度学习模型。
• MLP模型在完整数据集上的准确率仅为86.98%，表明其在捕捉名字中序列依赖关系方面存在局限。
• 混淆矩阵显示，BiLSTM和GRU模型的误分类最少，尤其在正确识别男性和女性名字方面表现优异。