[论文解读] Social Media-based User Embedding: A Literature Review

Shimei Pan, Tao Ding|arXiv (Cornell University)|Jun 1, 2019

Mental Health via Writing参考文献 40被引用 4

一句话总结

本篇文献综述综述了基于社交媒体的用户嵌入技术的最新进展，重点关注从异构数据（如文本、图像、点赞、个人资料）中学习低维统一表示的方法。研究表明，这些嵌入通过促进有效的迁移学习并减少数据稀缺场景下的过拟合，在预测人类特质与行为（如人格、心理健康状况和政治倾向）方面显著提升了性能。

ABSTRACT

Automated representation learning is behind many recent success stories in machine learning. It is often used to transfer knowledge learned from a large dataset (e.g., raw text) to tasks for which only a small number of training examples are available. In this paper, we review recent advance in learning to represent social media users in low-dimensional embeddings. The technology is critical for creating high performance social media-based human traits and behavior models since the ground truth for assessing latent human traits and behavior is often expensive to acquire at a large scale. In this survey, we review typical methods for learning a unified user embeddings from heterogeneous user data (e.g., combines social media texts with images to learn a unified user representation). Finally we point out some current issues and future directions.

研究动机与目标

• 综述2013年至2019年间，从异构社交媒体数据（文本、图像、点赞、个人资料、社交网络）中学习低维统一用户嵌入的最新方法。
• 探讨自动化用户嵌入如何提升下游任务（如人格预测、抑郁检测和政治倾向推断）的性能。
• 识别用户嵌入研究中可解释性与伦理方面的关键挑战。
• 概述未来研究方向，包括时间建模、多任务学习、跨平台融合以及可解释表示学习。

提出的方法

• 系统性回顾25项近期研究（2013–2019年），这些研究将嵌入技术应用于社交媒体用户数据。
• 从六个维度对研究进行分类：数据类型、单视图嵌入方法、辅助训练任务、多视图嵌入方法、目标任务和监督微调。
• 将嵌入技术分类为单视图（如word2vec、node2vec、深度自编码器）和多视图（如早期/晚期融合、注意力机制）学习方法。
• 分析在大规模社交媒体数据上进行自监督或无监督预训练，如何实现向低资源下游任务的迁移学习。
• 评估通过早期、晚期或中间融合方式，将多模态输入（文本、图像、网络结构）整合到统一用户嵌入空间的方法。
• 综述利用辅助任务（如情感预测、内容生成）以提升所学用户嵌入质量的应用。

实验结果

研究问题

• RQ1 与传统特征工程相比，基于多模态社交媒体数据的统一用户嵌入在预测人类特质与行为方面性能提升的机制是什么？
• RQ2 在社交媒体用户嵌入学习中，单视图与多视图方法所采用的主导技术与架构有哪些？
• RQ3 自监督或无监督预训练方法在低数据场景下对下游预测性能的提升程度如何？
• RQ4 用户嵌入模型在社交媒体分析中的可解释性与伦理影响方面存在哪些关键局限？
• RQ5 未来研究方向（如时间建模、多任务学习、跨平台融合）如何进一步推动该领域发展？

主要发现

• 采用无监督或自监督用户嵌入的研究显著优于依赖人工特征工程的传统基线方法，尤其在数据稀缺场景下表现更优。
• 融合文本、图像与社交网络特征的多视图用户嵌入方法在人格与心理健康预测任务中，准确率高于单模态方法。
• 在大规模社交媒体数据上进行自监督预训练，可提升下游任务（如抑郁检测与政治倾向推断）的泛化能力并减少过拟合。
• 尽管性能有所提升，但大多数用户嵌入模型仍缺乏可解释性，难以理解驱动预测结果的潜在特征。
• 伦理问题（如隐私侵犯、缺乏知情同意，以及偏见或污名化推断可能造成的伤害）在当前研究中仍关注不足。
• 未来方向如时间用户嵌入、多任务学习与跨平台融合，展现出显著潜力，可进一步提升模型的鲁棒性、泛化能力与实际应用价值。