[论文解读] PR2: A Language Independent Unsupervised Tool for Personality Recognition from Text

Fabio Celli, Massimo Poesio|arXiv (Cornell University)|Feb 12, 2014

Personality Traits and Psychology参考文献 14被引用 12

一句话总结

PR2 是一种语言无关的、无监督的 NLP 工具，用于从文本中识别人格特征，通过语言特征与 Big5 人格特质之间的相关性来分类人格类型，而无需依赖大规模标注数据集。它在英语和意大利语文本上的 F1 分数最高达到 0.68，证明了其在仅使用极少验证数据的情况下，跨语言和领域均具有稳健的性能。

ABSTRACT

We present PR2, a personality recognition system available online, that performs instance-based classification of Big5 personality types from unstructured text, using language-independent features. It has been tested on English and Italian, achieving performances up to f=.68.

研究动机与目标

• 开发一种无需大规模标注训练数据集的人格识别系统。
• 通过与 Big5 特质相关的特征，实现在不同语言间的人格识别。
• 通过使用普遍适用的语言特征，减少对 LIWC 或 MRC 等语言特定资源的依赖。
• 为研究人员和实践者提供一种可扩展的在线工具，用于从非结构化文本中分类人格。
• 通过无监督实例分类和自适应参数调优，提升在低资源环境下的鲁棒性。

提出的方法

• 系统使用从 LIWC 和 MRC 提取的语言无关特征，包括标点符号、问号、引号、感叹号、数字、括号、重复率和词频。
• 通过将特征频率映射到基于 Mairesse 等人（2007）预建立的相关性的个性特质极点，实现基于实例的分类。
• 通过将特征值与采样数据集的平均分布进行比较，为每段文本生成人格假设，高于平均值的特征值会触发人格特征分配。
• 系统将每种特质的置信度计算为该作者所有文本中多数标签数量与总文本数的比值。
• 对假设得分进行归一化，并应用可选参数，如加权相关性、可变假设平均、归一化、偏态特质校正和模式提取，以增强鲁棒性。
• 最终人格标签通过每位作者所有文本的多数投票得出，同时利用变异性和平均置信度来评估假设的稳定性。

实验结果

研究问题

• RQ1 人格识别系统是否能在无需大规模标注训练数据集的情况下实现可靠性能？
• RQ2 语言无关的语言特征在多大程度上能跨不同语言预测 Big5 人格特质？
• RQ3 在低资源环境下，基于特征-特质相关性的无监督分类与有监督基线相比表现如何？
• RQ4 自适应参数（如加权相关性、动态平均）对分类稳定性和准确性有何影响？
• RQ5 从无标注数据中提取模式是否能提升系统在新领域中的预测能力？

主要发现

• PR2 在意大利语 Facebook 数据集（fb-it, tnvr 设置）上实现了 0.686 的 F1 分数，证明了其在低资源环境下的强大性能。
• 在英语作文数据集（mbl-es-en, tnvr）上，系统达到 0.698 的 F1 分数，表明其在不同语言和文本类型间具有稳定的性能表现。
• 在所有测试配置中，系统保持了高达 1.0 的召回率，表明其对正确特质预测具有极强的敏感性。
• 使用模式提取（参数 t）使意大利语数据集的 F1 分数提升至 0.686，表明数据驱动的模式发现能增强泛化能力。
• 引入加权相关性和可变假设平均显著提升了鲁棒性，尤其在小数据集的早期处理阶段表现更优。
• 系统的平均置信度和变异性度量有效捕捉了每位作者在多段文本中人格表达的一致性。