[论文解读] Supporting Music Education through Visualizations of MIDI Recordings

Frank Heyen, Michael Sedlmair|arXiv (Cornell University)|Mar 24, 2026

Music and Audio Processing被引用 0

一句话总结

该论文提出五种比较性 MIDI 可视化方法，用于分析鼓MIDI记录中的节奏和错误，目标通过在听觉分析基础上增添视觉信息来支持音乐学习，并报告了一个互动原型的定性收益。

ABSTRACT

Musicians mostly have to rely on their ears when they want to analyze what they play, for example to detect errors. Since hearing is sequential, it is not possible to quickly grasp an overview over one or multiple recordings of a whole piece of music at once. We therefore propose various visualizations that allow analyzing errors and stylistic variance. Our current approach focuses on rhythm and uses MIDI data for simplicity.

研究动机与目标

• 使用乐器生成的 MIDI 数据促成音乐教育与培训的可视化数据分析的动机。
• 实现对记录的比较（学生对比标准答案或教师）以识别错误及风格差异。
• 提供直观、基于记谱的可视化编码以支持节奏分析和时间概览。
• 确保可视化能够扩展到多份记录和不同鼓组件。
• 为互动探索和未来对比研究奠定基础。

提出的方法

• 采用设计研究方法学与行动研究来开发 MIDI 鼓数据的可视化。
• 实现五种可视化编码，包括地面真值叠加、逐音符比较、按音高的密度估计、以及按时间聚合的视图。
• 将数据表示为 MIDI 音符（地面真值与记录）以简化解释和可视化。
• 使用颜色编码标记错误类型（红色：缺失，黄色：多出，绿色：正确）并用色度表示时序误差。
• 在一个互动原型中提供合成回放与互动特性（选择、联结/刷选）。

实验结果

研究问题

• RQ1 比较性 MIDI 可视化能否帮助学习者识别错误并指导练习？
• RQ2 逐音符和逐组件的编码如何揭示节奏相关的错误和风格差异？
• RQ3 在与地面真值对比或跨鼓组件比较时，哪些可视化策略具有扩展性？
• RQ4 哪些交互（选择、聚合、回放）能在这些可视化中支持有效学习？

主要发现

• 定性评估表明，用户可能从将听觉分析与可视化编码相结合的方式中获益。
• 提出五种可视化表示，用于分析鼓 MIDI 记录的节奏一致性与错误。
• 互动原型支持综合回放、多编码、联结/刷选以及子序列聚合。
• 基于密度的编码与地面真值叠加编码实现对大量记录的可扩展比较。
• 该方法目前聚焦 MIDI，并设计用于输出 MIDI 的乐器，未来计划扩展到其他具备 MIDI 能力的乐器。