[论文解读] Tracking Ensemble Performance on Touch-Screens with Gesture Classification and Transition Matrices

Charles Martín, Henry Gardner+1 more|arXiv (Cornell University)|Dec 1, 2020

Music Technology and Sound Studies参考文献 29被引用 5

一句话总结

该论文提出了一套实时系统，通过手势分类与转移矩阵检测音乐创新，实现对合奏触屏表演的追踪。通过将随机森林分类器应用于触摸手势，并计算手势转移矩阵中的变化率（flux），系统可动态调整iPad应用，以奖励、干扰或支持即兴探索——实现97%的手势分类准确率，并可实时支持约25名表演者。

ABSTRACT

We present and evaluate a novel interface for tracking ensemble performances on touch-screens. The system uses a Random Forest classifier to extract touch-screen gestures and transition matrix statistics. It analyses the resulting gesture-state sequences across an ensemble of performers. A series of specially designed iPad apps respond to this real-time analysis of free-form gestural performances with calculated modifications to their musical interfaces. We describe our system and evaluate it through cross-validation and profiling as well as concert experience.

研究动机与目标

• 开发一种基于服务器的智能代理，通过触屏手势实时追踪合奏即兴表演。
• 通过手势转移矩阵分析，检测合奏表演中具有新意的音乐创新时刻。
• 设计可响应的iPad应用，根据合奏行为动态调整界面，以支持创造性探索。
• 在实际音乐会场景中评估系统的准确性、可扩展性与实用性。

提出的方法

• 使用标注的触摸手势数据训练随机森林分类器，将原始触摸输入映射为离散的手势状态。
• 利用多名表演者的手势状态序列，计算表示合奏中状态转移的转移矩阵。
• 在转移矩阵上计算一种新型的“变化率”（flux）度量，以检测合奏行为的显著变化，标志新音乐理念的出现。
• 基于检测到的变化率，实时触发三款定制iPad应用（Snow Music、PhaseRings 和 BirdsNest）的界面更新。
• 通过交叉验证评估手势分类的准确性，并通过时间性能分析评估计算可扩展性。
• 在实际音乐会和装置展示中部署系统，以评估其在真实场景下的可用性及表演者反馈。

Figure 1: An iPad septet performing with Metatone Classifier and our apps. The lower plot shows the ensemble’s gestures over the whole performance. Moments of peak change that triggered “new-idea” messages are marked with vertical red lines.

实验结果

研究问题

• RQ1 机器学习模型在合奏表演中对自由形式触摸手势的分类准确度如何？
• RQ2 转移矩阵分析能否有效检测出合奏行为中具有意义的转变，这些转变可指示新音乐理念的出现？
• RQ3 随着合奏人数增加，系统的计算成本如何变化？
• RQ4 表演者在实际演出中在多大程度上认为自适应界面响应具有支持性与创造性？

主要发现

• 当使用高质量、自动捕获的数据进行训练时，手势分类器达到97%的准确率，优于人工视频分析方法。
• 系统在四名表演者参与时，平均每个秒内完成分类与分析仅需0.158秒，且处理时间与表演者数量呈线性关系。
• 时间性能分析表明，该系统在测试硬件上可实时支持约25名表演者（每秒一次分析）。
• 实际音乐会体验证实了系统的实用性：表演者发展出独特的手势风格，并对自适应界面响应表示满意。
• 变化率度量有效检测到音乐变化的时刻，使应用能够及时且有意义地作出干预。
• 研究发现，使用受控的高质量训练数据显著提升了分类器的准确率，相较于人工采集数据，验证了自动化数据采集的合理性。

Figure 2: The performance architecture of our system of server-based agent and iPad apps. Each iPad connects automatically to the server over WiFi. All touch interactions are logged and classified into gestures by the server which returns individual gesture and ensemble “new-idea” events throughout