[论文解读] The ACCompanion v0.1: An Expressive Accompaniment System

Carlos Cancino-Chacón, Martin Bonev+6 more|arXiv (Cornell University)|Nov 7, 2017

Music Technology and Sound Studies参考文献 5被引用 5

一句话总结

ACCompanion v0.1 是一种原型化的表达性伴奏系统，采用基于隐马尔可夫模型（HMM）的单音谱线追踪技术实时跟踪独奏者的演奏，同时利用 Basis-Mixer 神经网络框架生成伴奏中的表达性动态、时值与发音。该系统实现了概率谱线追踪与基于深度学习的表达性演奏建模的创新性整合，实现了具有动态表达性的实时、音乐协调伴奏。

ABSTRACT

In this paper we present a preliminary version of the ACCompanion, an expressive accompaniment system for MIDI input. The system uses a probabilistic monophonic score follower to track the position of the soloist in the score, and a linear Gaussian model to compute tempo updates. The expressiveness of the system is powered by the Basis-Mixer, a state-of-the-art computational model of expressive music performance. The system allows for expressive dynamics, timing and articulation.

研究动机与目标

• 开发一种实时表达性伴奏系统，为独奏 MIDI 演奏生成音乐协调、动态表达丰富的伴奏。
• 将概率单音谱线追踪与基于神经网络的表达性演奏模型（Basis-Mixer）集成，实现同步、富有表现力的伴奏。
• 通过 GUI 和外部控制器实现实时表达参数控制，支持演奏的夸张或减弱。
• 为未来集成多声部谱线追踪与合奏演奏数据的系统奠定基础。
• 探索具备‘自主表达理念’的自动化系统可行性，突破严格同步的局限。

提出的方法

• 系统采用隐马尔可夫模型（HMM）结合切换卡尔曼滤波器，利用 MIDI 音高与节拍间隔（IOI）数据实时追踪独奏者在乐谱中的位置。
• 谱线追踪模型将节拍周期建模为线性高斯过程，其参数依赖于 HMM 的隐状态，从而实现稳健的节拍跟踪。
• Basis-Mixer（BM）框架为每个音符预测五个表达性目标：Loudness_trend（动态趋势）、BP（节拍周期比）、Loudness_dev（动态偏差）、Timing（时值）与 Articulation（发音）。
• 按节拍点预测的目标通过双向循环神经网络（BRNNs）生成，而按音符预测的目标则通过前馈神经网络生成。
• BM 在贝多芬钢琴奏鸣曲演奏数据集上进行训练，使用基函数编码乐谱结构特征以描述表达性特征。
• 系统配备实时 GUI，以钢琴卷帘图形式可视化独奏与伴奏部分，通过颜色编码的音符指示演奏的正确性与动态强度。

实验结果

研究问题

• RQ1 能否通过概率谱线追踪与神经表达性演奏建模，实现实时伴奏系统与独奏者之间的表达性同步？
• RQ2 基于神经网络的框架（Basis-Mixer）在自动化伴奏中生成具有音乐意义的动态、时值与发音的效率如何？
• RQ3 通过外部硬件（如 USB 旋钮控制器）实现实时控制与调节表达性特征的可行程度如何？
• RQ4 将谱线追踪与深度学习演奏模型相结合，如何提升自动化伴奏的表达性与协调性？
• RQ5 在评估表达性伴奏系统音乐质量时，定量评估方法存在哪些局限性？

主要发现

• ACCompanion v0.1 顺利将单音谱线追踪与 Basis-Mixer 框架集成，实现了具有动态、时值与发音表达性的实时表达性伴奏。
• 系统在 HMM 框架内使用切换卡尔曼滤波器，实现了对独奏者位置与节拍的足够准确的实时追踪。
• Basis-Mixer 模型有效学习并再现了贝多芬奏鸣曲演奏中的表达性特征，如力度趋势、微时值偏差与发音比例。
• GUI 提供实时视觉反馈，通过颜色编码的音符区分独奏部分的正确、插入与错误音符，并通过亮度显示动态强度。
• 系统支持通过 USB 旋钮控制器实现实时用户对表达性参数的控制，实现对表达性目标的动态调制。
• 尽管本原型未进行正式的定量评估，但系统已证明将概率谱线追踪与神经表达性演奏建模相结合在交互式音乐应用中的可行性。