[论文解读] Psycholinguistic Tripartite Graph Network for Personality Detection

Tao Yang, Feifan Yang+2 more|arXiv (Cornell University)|Jun 9, 2021

Mental Health via Writing参考文献 35被引用 5

一句话总结

该论文提出TrigNet，一种心理语言学三元图网络，通过帖子、词语和心理类别之间的异质图，将基于LIWC的结构化知识整合到人格检测中。通过使用BERT初始化的图结构并引入一种新型流动GAT以实现高效的消息传递，TrigNet实现了最先进性能，在Kaggle和Pandora数据集上的平均F1分别提升了3.47和2.10个百分点，同时将FLOPS和内存使用量分别降低了38%和32%。

ABSTRACT

Most of the recent work on personality detection from online posts adopts multifarious deep neural networks to represent the posts and builds predictive models in a data-driven manner, without the exploitation of psycholinguistic knowledge that may unveil the connections between one's language usage and his psychological traits. In this paper, we propose a psycholinguistic knowledge-based tripartite graph network, TrigNet, which consists of a tripartite graph network and a BERT-based graph initializer. The graph network injects structural psycholinguistic knowledge from LIWC, a computerized instrument for psycholinguistic analysis, by constructing a heterogeneous tripartite graph. The graph initializer is employed to provide initial embeddings for the graph nodes. To reduce the computational cost in graph learning, we further propose a novel flow graph attention network (GAT) that only transmits messages between neighboring parties in the tripartite graph. Benefiting from the tripartite graph, TrigNet can aggregate post information from a psychological perspective, which is a novel way of exploiting domain knowledge. Extensive experiments on two datasets show that TrigNet outperforms the existing state-of-art model by 3.47 and 2.10 points in average F1. Moreover, the flow GAT reduces the FLOPS and Memory measures by 38% and 32%, respectively, in comparison to the original GAT in our setting.

研究动机与目标

• 解决数据驱动深度学习模型在人格检测中忽视心理语言学知识的局限性。
• 显式地将来自LIWC的结构化心理语言学特征整合到基于图的神经网络中，以实现更优的表征学习。
• 通过高效的图消息传递机制，在保持性能的同时降低图学习的计算成本。
• 证明心理类别节点（如Affect、Function）在捕捉人格相关线索方面起着关键作用。

提出的方法

• 构建一个包含三种节点类型的三元异质图：帖子、词语和LIWC心理类别。
• 基于词语-帖子和词语-类别之间的从属关系定义边，以编码语言和心理结构。
• 使用BERT初始化节点嵌入，提供上下文和语义表征。
• 提出一种流动GAT，限制消息仅在相邻节点类型之间传递（如帖子–词语–类别），从而降低计算量。
• 应用层注意力机制，聚合来自多个BERT层的表征，重点关注深层（第10–12层）以获得更优的初始嵌入。
• 通过平均帖子节点的嵌入来聚合最终的用户表征，用于人格分类。

实验结果

研究问题

• RQ1 三元图结构能否有效整合来自LIWC的心理语言学知识，从而提升人格检测性能？
• RQ2 与标准GAT相比，流动GAT在保持性能的同时如何降低计算成本？
• RQ3 哪些心理类别（如Affect、Function）对人格预测的贡献最为显著？
• RQ4 基于BERT的图初始化器和层注意力机制对模型性能有何影响？
• RQ5 在F1分数和效率方面，TrigNet与最先进模型相比表现如何？

主要发现

• 与最先进模型SN+Att相比，TrigNet在Kaggle数据集上平均Macro-F1提升了3.47个百分点，在Pandora数据集上提升了2.10个百分点。
• 与原始GAT相比，流动GAT将FLOPS降低了38%，内存使用量降低了32%，且未增加额外参数。
• 移除类别节点导致性能下降最大，其中Affect类别影响最显著，其次是Social和Cognition类别。
• 层注意力分析显示，BERT的第10–12层对初始节点表征的贡献最大，验证了其选择的合理性。
• 消融实验表明，三元图结构和流动GAT对性能与效率的提升均至关重要。