[论文解读] Robust Joint Alignment Of Multiple Versions Of A Piece Of Music.

Siying Wang, Sebastian Ewert+1 more|arXiv (Cornell University)|Oct 27, 2014

Music and Audio Processing参考文献 12被引用 15

一句话总结

该论文提出了一种鲁棒的、联合对齐方法，通过同时利用多个音乐作品版本进行多重比较，提升了对齐精度和鲁棒性，相较于成对方法表现更优。通过在渐进式对齐框架中结合多尺度DTW与音高和节拍特征，该方法在Mazurka Project录音数据上相较最先进成对方法，平均对齐误差降低14%，标准差降低53%。

ABSTRACT

Large music content libraries often comprise multiple versions of a piece of music. To establish a link between different versions, automatic music alignment methods map each position in one version to a corresponding position in another version. Due to the leeway in interpreting a piece, any two versions can differ significantly, for example, in terms of local tempo, articulation, or playing style. For a given pair of versions, these differences can be significant such that even state-of-the-art methods fail to identify a correct alignment. In this paper, we present a novel method that increases the robustness for difficult to align cases. Instead of aligning only pairs of versions as done in previous methods, our method aligns multiple versions in a joint manner. This way, the alignment can be computed by comparing each version not only with one but with several versions, which stabilizes the comparison and leads to an increase in alignment robustness. Using recordings from the Mazurka Project, the alignment error for our proposed method was 14% lower on average compared to a state-of-the-art method, with significantly less outliers (standard deviation 53% lower).

研究动机与目标

• 解决在具有显著速度、演奏法和动态差异的音乐表现多样性录音中，成对对齐性能下降的挑战。
• 在成对方法因表现性诠释差异而失效的困难情况下，提升对齐的鲁棒性。
• 开发一种可扩展的联合对齐框架，利用同一首音乐作品多个版本之间的冗余性和一致性。
• 提升音乐信息检索任务（如乐谱跟踪、翻跳歌曲检测和内容链接）中的同步精度。

提出的方法

• 将生物信息学中的多序列对齐（MSA）方法适配至音乐对齐，实现多个音频版本的同时联合比较。
• 采用渐进式对齐策略，将每个录音依次对齐至逐步构建的模板，从最长的录音开始。
• 使用多尺度DTW（FastDTW）实现高效动态时间规整，降低计算成本。
• 整合音高特征以表示音高内容，以及基于音高的节拍指示器（DLNCO）以增强节拍检测和时间精度。
• 应用带有间隙惩罚和步长约束的代价矩阵，确保对齐单调且边界有效。
• 采用基于长度的排序方式确定对齐顺序，以提升稳定性，尽管与基于DTW代价的排序相比性能无显著差异。

实验结果

研究问题

• RQ1 在表现性演奏差异存在的情况下，多个音乐版本的联合对齐是否能相比成对对齐提升鲁棒性？
• RQ2 对齐顺序（如按长度或DTW代价）如何影响最终对齐精度和稳定性？
• RQ3 在联合对齐框架中，节拍指示特征（DLNCO）在多大程度上提升了对齐精度？
• RQ4 在初始模板创建后对版本进行迭代重新对齐是否能提升对齐质量？
• RQ5 当成对比较失败时，使用多个参考版本在多大程度上能稳定对齐结果？

主要发现

• 所提出的联合对齐方法在Mazurka Project数据集上相较最先进成对方法，平均对齐误差降低了14%。
• 对齐误差的标准差降低了53%，表明异常值更少，鲁棒性显著提升。
• 使用基于音高的节拍指示器（DLNCO）提升了对齐精度，禁用该特征后，某一示例的平均对齐误差从59ms上升至80ms。
• 基于长度的对齐顺序策略优于或至少不逊于基于DTW代价的策略，提示速度与表现性参数变化之间可能存在关联。
• 迭代重新对齐并未提升结果，甚至在某些录音中导致对齐质量下降，表明初始对齐后重新处理无益处。
• 该方法在多个Mazurka录音中均表现出一致的改进，尤其在表现性诠释差异较大的困难案例中。