[论文解读] Music Performance Analysis: A Survey

Alexander Lerch, Claire Arthur+2 more|arXiv (Cornell University)|Jun 29, 2019

Music and Audio Processing参考文献 96被引用 21

一句话总结

本综述将音乐表演分析（MPA）视为音乐信息检索（MIR）领域中一个关键但研究不足的领域，强调乐谱与表演实现之间的区别。它主张将演奏参数（如速度变化、力度、音高波动和音色选择）整合到MIR系统中，以提升音乐理解、推荐、教育及生成模型的效果，强调需要开发稳健、数据驱动且可解释的方法，通过分离乐谱与表演来增强准确性和可解释性。

ABSTRACT

Music Information Retrieval (MIR) tends to focus on the analysis of audio signals. Often, a single music recording is used as representative of a "song" even though different performances of the same song may reveal different properties. A performance is distinct in many ways from a (arguably more abstract) representation of a "song," "piece," or musical score. The characteristics of the (recorded) performance -- as opposed to the score or musical idea -- can have a major impact on how a listener perceives music. The analysis of music performance, however, has been traditionally only a peripheral topic for the MIR research community. This paper surveys the field of Music Performance Analysis (MPA) from various perspectives, discusses its significance to the field of MIR, and points out opportunities for future research in this field.

研究动机与目标

• 解决音乐表演分析（MPA）在音乐信息检索（MIR）社区中长期被边缘化的问题，尽管其在音乐感知与美学中具有核心作用。
• 阐明乐谱（抽象表示）与表演（声学实现）之间的区别，强调演奏参数显著影响听觉感知。
• 识别MPA中的关键挑战，包括对人工标注的依赖、MIR任务中乐谱与表演的混淆、以及缺乏足够数据以支持稳健建模。
• 倡导将MIR、音乐认知与实证音乐学跨学科融合，以推动音乐教育、推荐与生成建模中具备表演感知能力的系统发展。
• 推动开发可解释、数据高效且具备表演感知能力的MIR算法，能够清晰区分乐谱内容与表现性演奏差异。

提出的方法

• 系统性综述MPA研究，涵盖音频分析、演奏者特征与听觉感知，基于实证研究与MIR会议论文集。
• 将演奏参数分类为节奏/时序、力度、音高（如震音、音准）与音色（如发音方式、音域），并提供通用与特定流派的示例。
• 回顾从1930年代（如Seashore的震音分析）到现代基于音频的MPA方法，涵盖机器学习与深度学习技术。
• 应用迁移学习与端到端神经网络进行演奏建模，强调可解释性以支持评估与反馈系统。
• 评估MPA在实际场景中的应用，如音乐辅导软件（如SmartMusic、Yousician），其演奏反馈基于音频分析。
• 呼吁MIR系统明确建模并分离基于乐谱的内容与基于表演的表现力，以提升鲁棒性与可解释性。

实验结果

研究问题

• RQ1 演奏参数（如速度变化、力度、音高波动与音色选择）在多大程度上影响听觉感知与审美判断？
• RQ2 尽管表演在音乐体验与感知中具有核心地位，为何音乐表演分析在MIR研究中仍处于边缘地位？
• RQ3 当前MIR系统在多大程度上混淆了乐谱层面内容与演奏层面表现力？这对算法性能与可解释性有何影响？
• RQ4 如何系统性地将MPA整合到MIR流程中，以提升音乐推荐、情绪识别与生成建模的效果？
• RQ5 哪些方法论与数据挑战阻碍了稳健、自动化且可解释的演奏分析系统的发展？应如何应对？

主要发现

• 即使乐谱保持不变，演奏参数（如微时序、表现性力度、震音与音色变化）也会显著影响听觉感知。
• 尽管表演在音乐体验中具有核心地位，但仅有极少数ISMIR论文（约1%）明确聚焦于表演，表明其在MIR研究中处于边缘化状态。
• 许多核心MIR任务（如音乐记谱与流派分类）隐式建模了演奏特征（如速度与力度），但未能将它们与乐谱内容分离，从而降低了可解释性。
• 演奏分析对实际应用至关重要，例如在音乐辅导软件中，自动反馈（如时序、力度与音准）均基于音频记录生成。
• 由于依赖人工标注与数据不足，缺乏自动化、稳健且可解释的演奏分析工具，严重限制了MPA与MIR的发展。
• 未来MIR系统必须明确建模乐谱与表演之间的区别，并利用弱监督或自监督学习方法以应对数据稀缺问题，尤其是在非古典音乐流派中。