[论文解读] Riddim: A Rhythm Analysis and Decomposition Tool Based On Independent Subspace Analysis

Iroro Orife|arXiv (Cornell University)|May 13, 2017

Music and Audio Processing参考文献 20被引用 4

一句话总结

Riddim 是一种用于节奏分析与分解的计算工具，采用独立子空间分析（ISA）从音频中提取分层的节奏结构。它检测节拍点，计算节拍间隔（IOIs），通过最大公约数（GCD）与直方图分析确定最低层级的节拍，并通过建模多层级时间结构，实现感知导向的记谱与实时表演应用。

ABSTRACT

The goal of this thesis was to implement a tool that, given a digital audio input, can extract and represent rhythm and musical time. The purpose of the tool is to help develop better models of rhythm for real-time computer based performance and composition. This analysis tool, Riddim, uses Independent Subspace Analysis (ISA) and a robust onset detection scheme to separate and detect salient rhythmic and timing information from different sonic sources within the input. This information is then represented in a format that can be used by a variety of algorithms that interpret timing information to infer rhythmic and musical structure. A secondary objective of this work is a "proof of concept" as a non-real-time rhythm analysis system based on ISA. This is a necessary step since ultimately it is desirable to incorporate this functionality in a real-time plug-in for live performance and improvisation.

研究动机与目标

• 开发一种基于感知的计算工具，用于分析音乐中复杂的节奏结构，尤其适用于传统记谱法缺失的电子音乐与即兴音乐流派。
• 解决从音频中提取分层节奏组织（节拍、分组、速度）的挑战，而无需事先的符号知识或乐谱。
• 通过参数化节拍时间、重音与速度等特征，实现对节奏空间的系统性探索，以支持创作与分析应用。
• 通过支持动态分析与实时音频流的重新诠释，实现对现场即兴与元DJ应用的实时表演支持。
• 将感知原理（如“感知时间窗”与因果分析）整合进节奏感知的计算框架中。

提出的方法

• 使用 MATLAB 搭配 MEX 接口实现实时处理，结合 C 子程序与高层算法控制。
• 应用独立子空间分析（ISA）将节奏模式分解为统计独立的时间子空间，以建模感知分组与层级结构。
• 通过整流、平滑与包络峰值检测检测节拍点，以提取时间事件。
• 计算节拍间隔（IOIs），并利用帧内 IOIs 的直方图分析识别主导节拍周期。
• 通过检测到的节拍点之间 IOIs 的最大公约数（GCD）确定最低层级节拍。
• 支持非因果分析，考虑时间上下文，与听觉记忆与“感知时间窗”的感知模型一致。

实验结果

研究问题

• RQ1 如何在无先验符号知识的前提下，通过计算工具从音频中提取分层节奏结构（节拍、分组、速度）？
• RQ2 独立子空间分析在多大程度上能够建模音乐中感知相关的节奏分组与时间层级？
• RQ3 节拍间隔的 GCD 是否能可靠地识别复杂、多节奏或富有表现力的音乐段落中的基本节拍？
• RQ4 节奏分析如何适应实时表演应用，如现场即兴与元DJ？
• RQ5 “感知时间窗”与听觉存储在建模音频中节奏结构感知的过程中起到何种作用？

主要发现

• Riddim 成功利用 IOIs 的 GCD 与基于直方图的 IOI 分析，在多节奏与富有表现力的音频中识别出最低层级节拍。
• 该工具通过将节奏结构建模为独立时间子空间的层级结构，实现了感知导向的节奏分解，与节奏感知的认知模型一致。
• 系统支持非因果分析，可访问时间上下文，从而提升节拍与分组估计的准确性。
• 该架构具有可扩展性，支持作为 MAX/MSP 外部模块或 VST 插件实现实时部署，适用于现场表演应用。
• Riddim 通过支持抽象节奏模式的混音而非具体音频样本，实现了新型元DJ应用，避免了时间拉伸带来的失真。
• 该框架为自动音乐记谱提供了基础，通过将节拍点检测与未来潜在的基本频率追踪相结合。