[论文解读] When LLM Meets Hypergraph: A Sociological Analysis on Personality via Online Social Networks

Zhiyao Shu, Xiangguo Sun+1 more|arXiv (Cornell University)|Jul 4, 2024

Impact of Technology on Adolescents被引用 4

一句话总结

本文提出了一种新颖的社会学框架，通过整合大型语言模型（LLMs）与超图神经网络（HGNNs），在在线社交网络中分析人格特质。该框架将用户建模为节点，社交环境建模为超边。通过利用LLMs将零散的用户数据统一为连贯的个人档案，并利用HGNN捕捉用户与社交环境之间的复杂多向交互关系，该方法在人格预测任务中实现了显著的性能提升，其有效性已在包含超图结构与人格标签的新型丰富标注数据集上得到验证。

ABSTRACT

Individual personalities significantly influence our perceptions, decisions, and social interactions, which is particularly crucial for gaining insights into human behavior patterns in online social network analysis. Many psychological studies have observed that personalities are strongly reflected in their social behaviors and social environments. In light of these problems, this paper proposes a sociological analysis framework for one's personality in an environment-based view instead of individual-level data mining. Specifically, to comprehensively understand an individual's behavior from low-quality records, we leverage the powerful associative ability of LLMs by designing an effective prompt. In this way, LLMs can integrate various scattered information with their external knowledge to generate higher-quality profiles, which can significantly improve the personality analysis performance. To explore the interactive mechanism behind the users and their online environments, we design an effective hypergraph neural network where the hypergraph nodes are users and the hyperedges in the hypergraph are social environments. We offer a useful dataset with user profile data, personality traits, and several detected environments from the real-world social platform. To the best of our knowledge, this is the first network-based dataset containing both hypergraph structure and social information, which could push forward future research in this area further. By employing the framework on this dataset, we can effectively capture the nuances of individual personalities and their online behaviors, leading to a deeper understanding of human interactions in the digital world.

研究动机与目标

• 为解决在线社交网络中人格特质分析的挑战，其中用户数据零散且传统个体层面的方法无法捕捉环境影响。
• 开发一种社会学框架，建模人格、行为与社交环境之间的相互作用，而非仅关注孤立的用户数据。
• 构建一个全面且高质量的数据集，整合用户档案、人格特质、行为记录及检测到的社交环境，并采用超图结构。
• 通过结合LLMs的关联推理能力与超图神经网络的结构建模能力，提升人格分析的性能。
• 通过基于环境的建模，实现对数字环境中人类行为更深层次、更细致的理解。

提出的方法

• 利用经过精心设计提示的大型语言模型（LLMs），通过引入外部知识，将零散且低质量的用户数据整合为更高品质、连贯的人格画像。
• 构建一个超图，其中用户为节点，社交环境（如社区、内容类型）为超边，以实现对多用户、多环境交互关系的建模。
• 设计一种超图神经网络（HGNN），通过捕捉用户与其社交环境之间复杂的非成对关系，学习用户表征。
• 在新收集的数据集上训练HGNN，该数据集包含用户档案、人格特质（如MBTI）、行为日志及检测到的社交环境。
• 将LLM生成的用户画像作为输入特征，以增强HGNN在处理不完整和碎片化数据时推断人格特质的能力。
• 通过标准指标（准确率、AUC）在不同训练数据比例下评估框架的性能，以检验其鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 如何有效将在线社交网络中零散且低质量的用户数据统一为连贯的人格画像？
• RQ2 超图神经网络在多大程度上能够建模用户与其社交环境之间的复杂多向交互关系？
• RQ3 LLMs与HGNN的结合是否能显著提升人格特质预测性能，相较于仅使用个体层面的基线模型？
• RQ4 在数据稀缺条件下，特别是训练数据有限时，该框架的性能表现如何？
• RQ5 引入社会学语境——具体而言，社交环境——对人格分析性能有何影响？

主要发现

• 所提出的LLM-HGNN框架在人格特质预测任务中实现了显著的性能提升，且在完整数据集上训练时达到最优结果。
• 即使在仅提供50%训练数据的情况下，该模型仍保持强劲性能，表现出对数据稀缺的强鲁棒性，而基线模型在类似条件下性能显著下降。
• 框架表现出训练数据量与模型性能之间的正相关关系，表明更大、更丰富的数据集有助于提升学习效果与泛化能力。
• LLM生成的用户画像显著提升了输入表征的质量，使模型能够更准确地从不完整数据中捕捉细微的人格特质。
• 超图结构有效建模了复杂且非成对的社会交互关系，其性能优于仅限于成对关系的传统GNN。
• 新发布的数据集包含超图结构化的社交环境与人格标签，是首个此类数据集，为未来的社会学与人格分析研究提供了宝贵资源。