[论文解读] Scraping and Clustering Techniques for the Characterization of Linkedin Profiles

Kais Dai, Celia Gónzalez Nespereira+2 more|arXiv (Cornell University)|May 5, 2015

Web Data Mining and Analysis参考文献 29被引用 13

一句话总结

本文提出一个大规模的 LinkedIn 个人资料数据集，包含通过网络爬取获得的 570 万个公开个人资料，利用自然语言处理（NLP）和 K-means 聚类技术，将教育背景分类为五个类别，并基于自由文本摘要识别出九种不同的职业群组。主要贡献在于提供了一个具有代表性且公开不可用的数据集，有助于揭示 LinkedIn 上教育与职业之间的关联以及职业群组的形成。

ABSTRACT

The socialization of the web has undertaken a new dimension after the emergence of the Online Social Networks (OSN) concept. The fact that each Internet user becomes a potential content creator entails managing a big amount of data. This paper explores the most popular professional OSN: LinkedIn. A scraping technique was implemented to get around 5 Million public profiles. The application of natural language processing techniques (NLP) to classify the educational background and to cluster the professional background of the collected profiles led us to provide some insights about this OSN's users and to evaluate the relationships between educational degrees and professional careers.

研究动机与目标

• 为解决学术研究中缺乏公开可用的大规模 LinkedIn 数据集的问题。
• 探讨 LinkedIn 上教育背景与职业发展轨迹之间的关系。
• 开发并应用自然语言处理（NLP）和聚类技术，对大规模个人资料进行分类与表征。
• 从非结构化的个人资料数据中生成关于职业群组和职业趋势的可操作洞察。
• 为利用时间序列和教育数据进行职业路径预测建模奠定基础。

提出的方法

• 使用网络爬取技术提取公开的 LinkedIn 个人资料，绕过 API 的限制。
• 应用自然语言处理（NLP）技术，将教育背景分类为五个基于联合国教科文组织（UNESCO）标准的类别：哲学博士（PhD）、硕士（master）、学士（bachelor）、中学（secondary）和其他（others）。
• 使用 K-means 聚类算法基于职业摘要对个人资料进行分组，通过肘部法确定最优聚类数量。
• 为每个聚类生成词云，以可视化主导关键词和职业身份特征。
• 数据预处理包括清洗和归一化，以提高分类和聚类的准确性。
• 本研究利用一个包含 570 万个个人资料的自定义数据集，相较于以往的小规模研究，显著提升了代表性。

实验结果

研究问题

• RQ1 教育背景在 LinkedIn 个人资料中的分布情况如何？其与职业角色之间存在何种模式？
• RQ2 通过在自由文本个人资料摘要上应用无监督学习，可以识别出哪些职业群组？
• RQ3 教育资质与 LinkedIn 上特定职业发展路径之间存在何种相关性？
• RQ4 NLP 和聚类技术在多大程度上能够揭示非结构化社交媒体数据中的隐藏结构？
• RQ5 个人资料中的时间序列数据在支持职业发展轨迹预测建模方面具有多大潜力？

主要发现

• 该数据集包含 570 万个 LinkedIn 个人资料，是社交网络研究领域一个大规模且公开不可用的重要资源。
• 最常见的教育类别为“硕士”（master），其次是“学士”（bachelor），而“哲学博士”（PhD）个人资料形成了一个独特且以研究为导向的聚类。
• 识别出九个职业群组，其中最大的一个（5,152 个个人资料）代表助理教授和研究导向的角色。
• 词云揭示了显著的职业术语特征：“大学”（university）、“教学”（teaching）和“教授”（professor）在学术群组中尤为突出。
• “副教授”（associate professor）群组的特点是参与国际项目以及承担行政角色。
• 一个包含 75 个个人资料的跨学科群组融合了管理、研究和教学角色，表明职业路径的多样化趋势。