[论文解读] New Musical Interfaces and New Music-making Paradigms

Sergi Jordà|arXiv (Cornell University)|Oct 4, 2020

Music Technology and Sound Studies参考文献 6被引用 13

一句话总结

本文提出了一套概念性框架，通过整合艺术表现与人机交互，为设计新型音乐交互界面提供指导，其基础源于作者在表演、作曲及界面设计领域十余年来的实践经验。该框架引入了基于实体化、手势化与互动化系统的音乐创作新范式，并通过实际应用案例，重新定义了表演者与工具之间的关系，拓展了数字音乐中的表现可能性。

ABSTRACT

The conception and design of new musical interfaces is a multidisciplinary area that tightly relates technology and artistic creation. In this paper, the author first exposes some of the questions he has posed himself during more than a decade experience as a performer, composer, interface and software designer, and educator. Finally, he illustrates these topics with some examples of his work.

研究动机与目标

• 探索技术、艺术创作与人机交互在新型音乐界面设计中的交叉点。
• 通过提出替代性范式，解决传统音乐界面的局限性，以增强表现力与互动性。
• 通过创新的界面设计，弥合表演者直觉与技术响应性之间的鸿沟。
• 为未来在新型音乐表现界面（NIME）领域的研究与开发，提供基于反思与实践经验的理论基础。

提出的方法

• 基于作者十余年作为表演者、作曲家及界面设计师的实践经验，构建概念性框架。
• 整合人机交互（HCI）与声音设计的洞见，开发新型交互模型。
• 设计并原型化支持实时、表现性音乐表演的实体化与手势化界面。
• 应用具身化与直接操作原则，打造直观、响应迅速的音乐乐器。
• 通过迭代设计与现场表演测试，优化界面的响应性与表现力。
• 通过原始界面系统的设计案例及其在实际演出中的部署，阐明理论概念。

实验结果

研究问题

• RQ1 如何设计新型音乐界面，以更准确地反映表演者的身体动作与表现意图？
• RQ2 当技术被重新构想为音乐创作中的协作者而非单纯工具时，会涌现出哪些新的交互范式？
• RQ3 具身化、手势化与实体化交互如何改变音乐家与乐器之间的关系？
• RQ4 哪些设计原则能够使数字音乐乐器在表现力与响应性方面超越传统控制器？
• RQ5 艺术家、工程师与研究人员之间的跨学科协作，如何推动创新的音乐创作实践？

主要发现

• 强调手势、触觉与具身化的新型音乐界面，显著提升了数字音乐表演的表现力与即时性。
• 艺术直觉与技术响应性的结合，带来了更直观、更具参与感的表演体验。
• 如Reactable等原型及其他实体化界面的案例表明，空间化与协作式交互模型可支持复杂、实时的音乐创作。
• 设计师与表演者从共享的、迭代式开发过程中受益，该过程更注重表现力而非单纯的技术保真度。
• 音乐创作中从符号化交互向具身化交互的转变，催生了传统控制器无法实现的新音乐表现形式。
• 本文提出的概念性框架已影响后续在NIME领域的研究与开发，为交互式音乐系统未来的创新奠定了基础。