[论文解读] Strike on Stage : a Percussion and Media Performance

Charles Martín, Chi-Hsia Lai|arXiv (Cornell University)|Jun 1, 2011

Interactive and Immersive Displays参考文献 2被引用 5

一句话总结

Strike on Stage 引入了一套交互式音视频表演系统，利用计算机视觉实时追踪打击乐手的手势，投射出响应式视觉效果，并直接从敲击动作触发处理后的声音。该系统将投影与音频集成于舞台屏幕之后，创造出一个统一且沉浸式的体验，使视觉与声音增强物理手势的表现，支持基于乐器的演奏以及‘空中打鼓’的互动，并提供实时反馈。

ABSTRACT

This paper describes Strike on Stage, an interface and corresponding audio-visual performance work developed and performed in 2010 by percussionists and media artists Chi-Hsia Lai and Charles Martin. The concept of Strike on Stage is to integrate computer visuals and sound into an improvised percussion performance. A large projection surface is positioned directly behind the performers, while a computer vision system tracks their movements. The setup allows computer visualisation and sonification to be directly responsive and unified with the performers' gestures.

研究动机与目标

• 开发一个集成系统，将计算机生成的视觉效果与音频与现场打击乐即兴演奏统一起来。
• 通过支持全身动作与鼓棒的双人协作，解决以往单一演奏者、以手部动作为重点的交互界面的局限性。
• 打造一个极简、便携且成本低廉的系统，同时保持视觉与声音的一致性，以增强观众的观感体验。
• 探索计算机视觉如何以高响应速度检测并响应敲击与弹跳等打击乐手势。
• 通过使数字媒体成为物理动作的自然延伸，提升现场表演的表达潜力。

提出的方法

• 使用一个立式织物投影屏幕，从背后用8个红外LED照射，以生成清晰的轮廓用于计算机视觉识别。
• 在表演者前方3米处安装一个红外敏感摄像头，实时捕捉表演者及其乐器的轮廓影像。
• 在屏幕前方设置一个可见光投影仪，将视觉效果直接投射到表演者与屏幕之上，使其融入表演空间。
• 音频处理通过 SuperCollider 实现，根据鼓棒尖端检测到的加速度来触发和操控样本（例如吊镲、锣声等）。
• 视觉反馈使用 openFrameworks 生成，投射出从轮廓延伸出的动态线条，响应手势点的加速度变化。
• 在乐器下方安装麦克风以捕捉原声音，而扬声器则隐藏在屏幕后方，以保持舞台外观的简洁。

实验结果

研究问题

• RQ1 在实时现场表演中，计算机视觉如何用于检测并响应打击乐手势？
• RQ2 投射的视觉效果与合成音频在多大程度上可被视为打击乐手物理动作的自然延伸？
• RQ3 能否设计出一个双人、全身互动的系统，使其在即兴表演情境中兼具响应性与艺术表现力？
• RQ4 将投影与音频集成于表演者身后，如何增强观众对表演整体性的感知？
• RQ5 哪些技术与艺术策略能够实现一个便携、低成本但高效的交互式表演系统？

主要发现

• 该系统成功通过基于斑点追踪的算法检测到打击乐手势，特别是鼓棒弹跳撞击，方法是测量鼓棒尖端的加速度。
• 表演者不仅可通过敲击乐器触发计算机生成的声音，还能通过‘空中打鼓’实现，证明系统对仅靠手势的响应能力。
• 视觉反馈以从轮廓延伸出的、长度可变的动态线条形式呈现，观众认为这是表演者动作的自然延伸。
• 该系统在多种表演场景中均表现良好，具备快速部署能力，证实了其便携性与鲁棒性。
• 观众反馈表明，视觉与音频与物理动作的融合创造了一种引人入胜、沉浸式且艺术上协调的表演体验。
• 成功开发并表演了一个“微型”版本的系统，采用更小的屏幕与单个红外光源，证明了系统的可扩展性与适应性。