[论文解读] Personality Trait Detection Using Bagged SVM over BERT Word Embedding Ensembles

Amirmohammad Kazameini, Samin Fatehi+3 more|arXiv (Cornell University)|Oct 3, 2020

Sentiment Analysis and Opinion Mining参考文献 16被引用 52

一句话总结

本文提出 BB-SVM，一种计算高效的方法，将基于 BERT 的上下文嵌入与 Mairesse 特征以及 Bagging-SVM 相结合，从作文中预测大五人格特质，优于先前的最先进方法 1.04%。

ABSTRACT

Recently, the automatic prediction of personality traits has received increasing attention and has emerged as a hot topic within the field of affective computing. In this work, we present a novel deep learning-based approach for automated personality detection from text. We leverage state of the art advances in natural language understanding, namely the BERT language model to extract contextualized word embeddings from textual data for automated author personality detection. Our primary goal is to develop a computationally efficient, high-performance personality prediction model which can be easily used by a large number of people without access to huge computation resources. Our extensive experiments with this ideology in mind, led us to develop a novel model which feeds contextualized embeddings along with psycholinguistic features toa Bagged-SVM classifier for personality trait prediction. Our model outperforms the previous state of the art by 1.04% and, at the same time is significantly more computationally efficient to train. We report our results on the famous gold standard Essays dataset for personality detection.

研究动机与目标

• 开发一个用于从文本自动检测人格的计算高效模型。
• 利用 BERT 上下文嵌入结合心理语言学特征。
• 在 Essays 人格数据集上提升预测性能，同时降低训练时间。

提出的方法

• 将作文分割为 200-token 的子文档以适应 BERT 的输入限制。
• 通过对 BERT 层的 token 表示取均值并连接最后四层来提取上下文化嵌入。
• 将 BERT 特征与 84 个 Mairesse 特征拼接，形成 3156 维的文档特征向量。
• 并行训练十个 SVM 分类器（袋装法），并通过多数投票得到最终预测。
• 将 Bagging-SVM 与单模型及不同特征配置进行对比。

实验结果

研究问题

• RQ1 基于 BERT 的上下文嵌入结合心理语言学特征是否能提升文本的人格特质预测性能相对于以往方法？
• RQ2 将多个 SVM 分类器进行袋装是否在性能与训练时间上具有优势？
• RQ3 使用最后四层 BERT 表达 vs 其他配置对准确率有何影响？
• RQ4 BB-SVM 相较于 Essays 数据集上的先前最先进方法有何表现？

主要发现

• BB-SVM 的平均准确率高于先前的最先进方法（59.03% vs 57.99%）。
• 在所研究的配置下，使用 BERT（最后四层）结合 Bagging-SVM 的方法优于基于 Word2Vec 的方法。
• 袋装法相较于单一 SVM 能提高人格检测的分类准确率。
• 训练时间显著缩短（约 7 分钟），相比之前的方法约 50 小时。
• 将最后四层的 BERT 与 Mairesse 特征拼接，能为 SVM 分类器提供强大的特征向量。