[论文解读] Visual Display and Retrieval of Music Information

Rafael Valle|arXiv (Cornell University)|Jul 26, 2018

Music and Audio Processing参考文献 21被引用 3

一句话总结

本文提出了一套计算方法，利用频谱图、MFCC、CQT和色度图等音频描述符，结合自相似性矩阵和t-SNE投影等数据可视化技术，实现音乐信息的可视化与检索。结果表明，这些工具能够支持对音乐结构、音色和相似性的系统性、定量分析，适用于音乐学研究及音乐信息检索领域的工业应用。

ABSTRACT

This paper describes computational methods for the visual display and analysis of music information. We provide a concise description of software, music descriptors and data visualization techniques commonly used in music information retrieval. Finally, we provide use cases where the described software, descriptors and visualizations are showcased.

研究动机与目标

• 开发并展示从音频和符号数据中可视化与检索音乐信息的计算方法。
• 通过提供易于使用的工具和描述符，弥合音乐学家与计算音乐学之间的差距。
• 展示可视化如何提升音乐分析标注质量并减少人工劳动。
• 通过特征提取与降维技术，实现对音乐结构、音色和相似性的系统性、定量分析。
• 说明MIR技术在音乐研究与工业应用中的实际用途，例如Spotify和Gracenote中的应用。

提出的方法

• 使用短时傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC）从音频信号中提取音色特征。
• 应用恒Q变换（CQT）和色度特征，以八度不变的音高类表示方式呈现音高内容。
• 采用自相似性矩阵通过距离函数测量帧间相似性，以检测音乐中的结构模式。
• 利用t-SNE和MDS等降维技术，将高维特征帧投影到二维可视化空间，以支持相似性分析。
• 通过将CQT特征映射到RGB色彩空间的三个通道，实现对时间维度和感知意义的直观解释。
• 采用基于特征的距离度量方法，如欧氏距离和相关性，量化音乐实体之间的相似性。

实验结果

研究问题

• RQ1 MFCC、CQT和色度图等音频描述符如何用于表示和分析音乐的音色与音高结构？
• RQ2 频谱图、自相似性矩阵和t-SNE投影等可视化技术在提升音乐信息检索中的作用是什么？
• RQ3 数据可视化在众包环境下如何提升音乐标注的准确性和效率？
• RQ4 计算方法在多大程度上能够量化与人类感知一致的音乐相似性？
• RQ5 t-SNE等降维技术如何揭示大规模音乐数据集中的风格分组？

主要发现

• 频谱图可视化显著提高了标注者的一致性，并减少了音乐标注任务的时间与人力成本。
• MFCC和CQT特征能有效捕捉与感知相关的音色与音高特性，模拟人类听觉感知。
• 基于节拍对齐CQT特征计算的自相似性矩阵，成功揭示了格里塞的《Partiels》等复杂音乐作品中的结构模式。
• 来自数千首歌曲的特征帧经t-SNE投影后，能清晰区分出Hardcore Punk与Ambient等音乐风格，点间距离反映了感知上的相似性。
• 将CQT特征映射到三维RGB空间的色彩映射，使音乐随时间的演变过程和特征相似性得以直观可视化。
• 在比较具有不同动态变化的音高轮廓时，相关性度量比欧氏距离更有效地捕捉感知相似性。