[论文解读] SMP Challenge: An Overview of Social Media Prediction Challenge 2019

Bo Wu, Wen-Huang Cheng+4 more|arXiv (Cornell University)|Oct 4, 2019

Sentiment Analysis and Opinion Mining参考文献 25被引用 4

一句话总结

本文介绍了 SMP 挑战赛 2019，这是一个大规模的社会多媒体预测挑战，聚焦于时间流行度预测（TPP），参赛团队需在帖子发布前预测其未来的受欢迎程度（如点赞数、浏览量）。基于新发布的 SMPD 数据集（包含 80,000 名用户发布的 486,000 条帖子），该数据集具备丰富的视觉、文本和时间元数据，挑战赛采用斯皮尔曼等级相关系数和平均绝对误差作为评估指标，推动了社交媒体分析中预测学习的发展。

ABSTRACT

"SMP Challenge" aims to discover novel prediction tasks for numerous data on social multimedia and seek excellent research teams. Making predictions via social multimedia data (e.g. photos, videos or news) is not only helps us to make better strategic decisions for the future, but also explores advanced predictive learning and analytic methods on various problems and scenarios, such as multimedia recommendation, advertising system, fashion analysis etc. In the SMP Challenge at ACM Multimedia 2019, we introduce a novel prediction task Temporal Popularity Prediction, which focuses on predicting future interaction or attractiveness (in terms of clicks, views or likes etc.) of new online posts in social media feeds before uploading. We also collected and released a large-scale SMPD benchmark with over 480K posts from 69K users. In this paper, we define the challenge problem, give an overview of the dataset, present statistics of rich information for data and annotation and design the accuracy and correlation evaluation metrics for temporal popularity prediction to the challenge.

研究动机与目标

• 通过引入时间流行度预测任务，建立一个新颖且大规模的社会多媒体预测基准。
• 收集并发布一个多样化、多模态的数据集（SMPD），包含超过 486,000 条帖子和 80,000 名用户，以支持真实世界中的预测研究。
• 定义标准化的评估指标——斯皮尔曼等级相关系数和平均绝对误差，用于评估时间流行度预测的性能。
• 通过挑战团队在发布前利用多模态内容和时间动态预测帖子流行度，推动预测学习的创新。
• 通过确保用户、地理区域和内容模态的多样性，实现跨任务的泛化能力。

提出的方法

• SMPD 数据集按照时间顺序构建，以保持社交媒体帖子的时间序列连续性。
• 每条帖子包含视觉内容（带有语义类别的图像）、文本内容（标题和用户生成的标签）以及元数据（位置、时间、用户资料）。
• 采用对数正则化策略，以平衡各地理区域的帖子分布，确保全球代表性。
• 评估采用时间序列划分策略：将 10 个时间窗口的序列按 2:1 的比例划分为训练集和测试集，同时保持用户-帖子序列的完整性。
• 性能通过两种指标进行评估：斯皮尔曼等级相关系数（SRC）用于衡量排序准确度，平均绝对误差（MAE）用于量化预测误差。
• 最终团队排名通过综合两种指标的表现计算得出，以确保评估的平衡性。

实验结果

研究问题

• RQ1 基于内容和上下文，预测社交媒体帖子未来受欢迎程度的最有效方法是什么？
• RQ2 视觉、文本和时间特征如何共同影响社交媒体帖子流行度的可预测性？
• RQ3 与单模态方法相比，多模态特征（图像、文本、时间）在时间流行度预测中的提升程度如何？
• RQ4 数据集中地理和用户多样性在多大程度上影响模型在不同社交媒体场景下的泛化能力和性能？
• RQ5 在真实世界社交媒体系统中，哪种评估指标最能反映时间流行度预测的质量？

主要发现

• SMPD 数据集包含来自 80,000 名用户的 486,000 条帖子，具备丰富的多模态信息，包括视觉内容、标题、标签和时间元数据。
• 数据集覆盖多样化的地理区域，通过使用对数正则化对帖子分布进行归一化，以减少区域偏差。
• 流行度得分分布高度偏斜，大多数帖子获得较低的互动量，仅少数达到高传播性。
• 评估协议采用时间序列划分策略，保持用户-帖子序列的完整性，确保真实的时间评估。
• 斯皮尔曼等级相关系数和平均绝对误差（MAE）作为主要评估指标，最终排名基于两种指标的综合表现。
• 该挑战成功实现了在多样化社交媒体场景下对预测模型的基准测试，推动了多媒体预测与分析领域的研究进展。