[论文解读] The Machine Learning Algorithm as Creative Musical Tool

Rebecca Fiebrink, Baptiste Caramiaux|arXiv (Cornell University)|Nov 1, 2016

Music Technology and Sound Studies被引用 25

一句话总结

本文将机器学习算法重新定义为创意音乐工具，通过将其视为人机交互界面，实现音乐家与声音生成系统之间新颖的互动关系。它展示了用户如何通过数据而非代码来教导系统，从而产生涌现的音乐行为和协同创造的设计过程，其表现力与适应性超越了传统的基于规则的编程方式。

ABSTRACT

Machine learning is the capacity of a computational system to learn structures from datasets in order to make predictions on newly seen data. Such an approach offers a significant advantage in music scenarios in which musicians can teach the system to learn an idiosyncratic style, or can break the rules to explore the system's capacity in unexpected ways. In this chapter we draw on music, machine learning, and human-computer interaction to elucidate an understanding of machine learning algorithms as creative tools for music and the sonic arts. We motivate a new understanding of learning algorithms as human-computer interfaces. We show that, like other interfaces, learning algorithms can be characterised by the ways their affordances intersect with goals of human users. We also argue that the nature of interaction between users and algorithms impacts the usability and usefulness of those algorithms in profound ways. This human-centred view of machine learning motivates our concluding discussion of what it means to employ machine learning as a creative tool.

研究动机与目标

• 将机器学习算法重新理解为不仅仅是被动的统计工具，而是主动的、交互式的音乐创作界面。
• 探讨机器学习交互设计如何塑造音乐科技的可用性与艺术潜力。
• 研究用户与算法在创作过程中通过反馈回路共同演进，从而产生涌现的音乐行为。
• 挑战将机器学习仅视为准确性的传统观念，提出一种以人类为中心、以艺术为导向的应用视角。
• 激发音乐科技领域新的设计范式，优先考虑表现力、意外性与用户主导的探索，而非确定性的基于规则的系统。

提出的方法

• 通过分析机器学习在音乐创作中与用户目标的关联性，将其视为人机交互界面。
• 借助实验音乐与电声音乐的案例研究，说明音乐家如何通过数据而非代码来教导系统。
• 强调用户通过实时操控训练与测试数据来塑造系统行为的交互式、迭代式设计过程。
• 引入人与算法之间的‘协同设计’概念，即双方在学习过程中通过反馈相互适应。
• 借用对话或航行等音乐互动隐喻，描述用户与机器学习系统之间动态、非线性的关系。
• 提出算法行为源于数据驱动的学习，从而产生超越显式编程的意外声学结果。

实验结果

研究问题

• RQ1 机器学习算法如何被理解为音乐创作中的交互界面，而非仅仅是预测模型？
• RQ2 机器学习算法的可供性如何与音乐家和声音艺术家的艺术目标相交？
• RQ3 用户与算法之间互动的性质如何影响音乐科技的可用性与创造性潜力？
• RQ4 用户与算法之间的反馈在共同演化音乐表达与系统行为中起到何种作用？
• RQ5 机器学习如何支持设计出比基于规则的系统更具表现力、适应性与开放性的音乐系统？

主要发现

• 机器学习使音乐家能够通过数据示例而非编写代码，创造出富有表现力且独具个性的音乐系统。
• 用户与算法之间的互动促进了共同演化：随着用户调整输入，系统行为随之改变，用户也不断深化对系统的理解。
• 用户与算法之间的反馈回路能随时间提升性能与一致性，即使初始输入不一致或有误亦然。
• 机器学习系统在音乐互动中可充当‘风暴中的船’或‘聪慧的朋友’，引入意外性与动态响应，超越传统控制范式。
• 机器学习在音乐中的创造潜力不仅限于准确性，更在于其通过数据驱动学习生成新颖、不可预知的声学关系的能力。
• 通过将学习算法视为界面，设计者可创造出更直观、更具探索性与艺术意义的音乐科技，反映具身化的音乐实践。