[论文解读] Optimal spectral transportation with application to music transcription

Rémi Flamary, Cédric Févotte+2 more|arXiv (Cornell University)|Sep 30, 2016

Speech and Audio Processing被引用 17

一句话总结

本文提出最优谱传输（Optimal Spectral Transportation, OST），一种用于音乐转录的新型谱分解框架，利用最优传输理论衡量谱能量分布之间的相似性，该方法对微小频率偏移和谐波相关的能量位移具有不变性。通过用位于基频处的简单狄拉克δ函数替代复杂、乐器特定的谱模板，OST 实现了一种快速、准确且鲁棒的转录算法，在准确率和速度上均优于当前最先进方法——在真实数据上实现高达750倍的速度提升，同时F1值提升约10%。

ABSTRACT

Many spectral unmixing methods rely on the non-negative decomposition of spectral data onto a dictionary of spectral templates. In particular, state-of-the-art music transcription systems decompose the spectrogram of the input signal onto a dictionary of representative note spectra. The typical measures of fit used to quantify the adequacy of the decomposition compare the data and template entries frequency-wise. As such, small displacements of energy from a frequency bin to another as well as variations of timber can disproportionally harm the fit. We address these issues by means of optimal transportation and propose a new measure of fit that treats the frequency distributions of energy holistically as opposed to frequency-wise. Building on the harmonic nature of sound, the new measure is invariant to shifts of energy to harmonically-related frequencies, as well as to small and local displacements of energy. Equipped with this new measure of fit, the dictionary of note templates can be considerably simplified to a set of Dirac vectors located at the target fundamental frequencies (musical pitch values). This in turns gives ground to a very fast and simple decomposition algorithm that achieves state-of-the-art performance on real musical data.

研究动机与目标

• 解决传统谱分解方法在音乐转录中对微小频率偏移和音色变化敏感的局限性。
• 提出一种整体拟合度量方法，将谱能量分布视为连续分布而非逐频率比较。
• 实现仅使用位于基频处的最小、固定字典的狄拉克模板，简化转录模型。
• 与现有基于NMF的方法相比，实现显著降低计算成本的最先进性能。
• 提供一种对谐波关系和谱中局部能量位移具有不变性的灵活框架。

提出的方法

• 提出一种新型的运输成本矩阵，编码音乐信号的谐波结构，使其对能量在频率箱之间的微小局部位移具有不变性。
• 利用最优传输（OT）计算观测谱图与字典模板之间的距离，将每个谱图视为频率箱上的概率分布。
• 将字典简化为位于目标基频（如MIDI音符频率）处的狄拉克δ函数，避免使用复杂、乐器特定的谱模板。
• 通过利用成本矩阵的结构和狄拉克字典的稀疏性，推导出一种快速算法，实现接近实时处理。
• 扩展出一种抗噪声变体（OST e + noise），增加平坦分量以应对非谐波能量，提升鲁棒性。
• 在新成本结构下，采用闭式解求解最优传输问题，避免迭代优化。

实验结果

研究问题

• RQ1 能否设计一种谱分解框架，对谱能量的微小局部位移具有鲁棒性，同时保持谐波结构？
• RQ2 能否仅使用位于基频处的最小狄拉克模板字典实现最先进的转录准确率？
• RQ3 能否将最优传输适配于音乐谱，使其对谐波频率关系和非谐性具有不变性？
• RQ4 基于传输的拟合度量是否优于传统逐频率度量（如KL散度）在音乐转录任务中的表现？
• RQ5 该方法能否在与现有基于NMF的方法相比时，同时实现高准确率和极高的计算效率？

主要发现

• OST e + noise 在MAPS数据集上平均F1值达到0.684，相比PLCA（0.624）和OST（0.563）分别提升约10%。
• OST e + noise 相比PLCA 实现750倍的速度提升，平均去混响时间从14.861秒降至0.202秒。
• OST 在抑制八度错误方面优于PLCA，在PLCA因谱拍和幅度调制而失败的钢琴音符中，能正确识别真实基频（MIDI 50）。
• 结合基频处的狄拉克模板与谐波感知的成本矩阵，可实现简单且快速的算法，同时不损失准确率。
• 该方法对音色和非谐性变化具有鲁棒性，如在具有异步泛音和不同振幅的复杂钢琴音符中也实现了准确转录。
• 所提框架计算效率高且可扩展，实时演示代码已发布于 https://github.com/rflamary/OST。