[论文解读] Song Hit Prediction: Predicting Billboard Hits Using Spotify Data

Kai Middlebrook, K Meheboob Sheik|arXiv (Cornell University)|Aug 22, 2019

Music and Audio Processing参考文献 1被引用 14

一句话总结

本研究利用来自180万首Spotify歌曲的音频和元数据特征，结合Billboard排行榜数据，预测Billboard Hot 100热门歌曲。表现最佳的模型为随机森林分类器，其在区分热门歌曲与非热门歌曲方面达到88%的准确率，表明音频特征和艺人过往表现对预测歌曲成功具有显著影响。

ABSTRACT

In this work, we attempt to solve the Hit Song Science problem, which aims to predict which songs will become chart-topping hits. We constructed a dataset with approximately 1.8 million hit and non-hit songs and extracted their audio features using the Spotify Web API. We test four models on our dataset. Our best model was random forest, which was able to predict Billboard song success with 88% accuracy.

研究动机与目标

• 为解决热门歌曲科学问题，预测哪些歌曲会成为Billboard Hot 100榜首歌曲。
• 通过构建约180万首歌曲的数据集，扩展先前研究，其中包含12,000首Billboard热门歌曲和12,000首非热门歌曲。
• 在音频和元数据特征上评估多种机器学习模型，以确定最准确的热门歌曲预测方法。
• 探究艺人过往表现和音频特征对热门歌曲预测准确率的影响。
• 为音乐产业相关方提供一种稳健且可扩展的模型，以指导投资和推广决策。

提出的方法

• 从Spotify收集180万首歌曲（1985–2018年），然后通过歌曲名和艺人匹配，将数据与Billboard Hot 100数据（1985–2018年）合并。
• 通过从Spotify中采样非热门歌曲，构建了一个包含24,000首歌曲的平衡数据集（12,000首热门歌曲，12,000首非热门歌曲）。
• 提取了27项特征，包括音频分析（如舞曲性、能量、情绪值）、歌曲元数据（如时长、流行度）以及艺人过往表现（先前热门歌曲数量）。
• 训练并评估了四种模型：逻辑回归、前馈神经网络（1个隐藏层，ReLU激活函数）、随机森林和带有RBF核的SVM。
• 在随机森林模型中使用80个估计器、最大特征数=8，以及基尼不纯度准则；在SVM中设置C=10和γ=0.1。
• 将数据划分为训练集、验证集和测试集，三者之间无重叠，并确保每个集合中类别分布均衡。

实验结果

研究问题

• RQ1 Spotify的音频和元数据特征能否预测哪些歌曲会成为Billboard Hot 100热门歌曲？
• RQ2 不同机器学习模型在热门歌曲预测中的准确率、精确率和召回率表现如何比较？
• RQ3 将艺人过往表现纳入模型是否能提升预测效果，超越仅依赖音频特征的情况？
• RQ4 哪种模型能将假阳性预测最小化，为何这对音乐公司投资决策尤为重要？
• RQ5 音频特征（如能量、舞曲性、情绪值）与排行榜成功之间的相关性有多大？

主要发现

• 随机森林模型在测试集上达到最高的准确率87.7%，在验证集上达到88.7%的准确率，优于逻辑回归、神经网络和SVM。
• 随机森林模型在验证集上的精确率为86%，召回率为90%，表明其在精确率与敏感性之间具有良好的平衡。
• SVM模型在验证集上实现了最高的精确率（99.5%），表明其在避免假阳性预测方面极为可靠。
• 神经网络模型在测试集上达到82.14%的准确率，且未出现过拟合现象，表现为训练集与验证集性能相近。
• 逻辑回归在测试集上达到81.51%的准确率和92.98%的召回率，表明其在识别真实热门歌曲方面能力较强，但精确率较弱。
• 随机森林模型的混淆矩阵显示有153个假阳性预测和82个假阴性预测，整体错误率相对较低。