[论文解读] What were you expecting? Using Expectancy Features to Predict Expressive Performances of Classical Piano Music

Carlos Cancino-Chacón, Maarten Grachten+2 more|arXiv (Cornell University)|Sep 11, 2017

Music and Audio Processing被引用 3

一句话总结

本文提出了一种混合模型，结合IDyOM计算模型中的期望特征与乐谱描述符，以预测古典钢琴演奏中的表达性速度与力度。通过基于RNN的回归模型，结果表明期望特征显著提升了速度预测的准确性（R² = 0.072），但对力度预测无显著改善，支持了听者预期在塑造演奏时序中的作用。

ABSTRACT

In this paper we present preliminary work examining the relationship between the formation of expectations and the realization of musical performances, paying particular attention to expressive tempo and dynamics. To compute features that reflect what a listener is expecting to hear, we employ a computational model of auditory expectation called the Information Dynamics of Music model (IDyOM). We then explore how well these expectancy features -- when combined with score descriptors using the Basis-Function modeling approach -- can predict expressive tempo and dynamics in a dataset of Mozart piano sonata performances. Our results suggest that using expectancy features significantly improves the predictions for tempo.

研究动机与目标

• 探究计算模型中的听觉预期是否能提升对表达性音乐演奏的预测能力。
• 评估基于信息论度量的期望特征相对于传统乐谱描述符在建模表达性速度与力度方面的贡献。
• 通过在未见过的乐曲上进行测试，而非针对每首演奏进行拟合，评估模型的泛化能力。
• 探讨听者预期与演奏者在速度与力度决策之间关系。

提出的方法

• 使用信息动力学音乐（IDyOM）模型计算期望特征，该模型对旋律与和声事件估计信息含量（IC）与熵（H）。
• 乐谱特征包括从乐谱中提取的音高、时值与节奏密度，用作低层次描述符。
• 通过节拍周期比（BPR）建模表达性速度，通过归一化的MIDI速度（VEL）建模力度，同时使用其一阶导数（BPR_d，VEL_d）。
• 使用包含期望特征与乐谱特征组合的循环神经网络（RNN）进行训练，以最小化均方误差来预测表达性参数。
• 通过5折交叉验证在Batik/Mozart语料库上评估模型性能，使用R²与皮尔逊相关系数（r）作为评价指标。
• 通过二维微分敏感性图谱进行敏感性分析，以可视化各特征对模型输出的贡献。

实验结果

研究问题

• RQ1 能否通过计算模型中的听觉预期推导出的期望特征，提升对钢琴演奏中表达性速度与力度的预测能力？
• RQ2 期望特征在预测表达性参数方面，相较于传统乐谱描述符，其预测能力如何？
• RQ3 将期望特征与乐谱特征结合，是否能在未见过的乐曲上实现更好的泛化性能？
• RQ4 是否存在期望度量（如IC、H）与演奏者在速度与力度决策之间系统性的关联？

主要发现

• 在结合乐谱特征时，期望特征的引入显著提升了表达性速度的预测性能，R²达到0.072（E+S），而仅使用期望特征（E）时为0.038，仅使用乐谱特征（S）时为0.065。
• 对于速度导数（BPR_d），E+S模型在统计学上显著优于E与S模型，R²达到0.124。
• 期望特征对力度预测无显著改善：VEL的最佳R²为0.312（E+S），VEL_d为0.230，未显示出相对于仅使用乐谱特征的明显优势。
• 敏感性分析显示，当后续事件出乎意料（IC或H较高）时，演奏者倾向于放慢速度；而当先前事件具有不确定性时，演奏者则倾向于加快速度，这与认知负荷减轻的机制一致。
• 结果表明，期望特征对速度的预测更为相关，可能由于音乐中存在更强的结构性关联，如乐句末尾的渐慢（ritardandi）。
• 模型的性能指标（R²与r）与先前使用Basis-Function建模在肖邦音乐上的研究结果相当，表明具有较强的预测有效性。