[论文解读] Musical Smart City: Perspectives on Ubiquitous Sonification

Pedro Sarmento, Ove Holmqvist+1 more|arXiv (Cornell University)|Jun 22, 2020

Tactile and Sensory Interactions参考文献 38被引用 5

一句话总结

本文提出普遍性音色化（ubiquitous sonification）作为一种新颖方法，通过整合音色化、普适音乐与移动计算技术，将智慧城市数据转化为实时、交互式的音乐体验。该研究提出了一套概念性框架，利用机器学习实现数据到声音的映射，使用户能够通过听觉感知城市数据，并通过参与式、音乐驱动的数据互动提升环境意识。

ABSTRACT

Smart cities are urban areas with sensor networks that collect data used towards efficient management. As a source of ubiquitous data, smart city initiatives present opportunities to enhance inhabitants' urban awareness. However, making sense of smart city data is challenging and there is a gap between available data and end-user applications. Sonification emerges as a promising method for the interpretation of smart city data and the production of novel musical experiences. In this paper, we first present the smart city paradigm. We then cover the topics of ubiquitous and mobile music, followed by an overview of sonification research. Finally, we propose an approach entitled ubiquitous sonification and present the initial design of a speculative use case for musical smart city systems, leveraging user and urban data to inform behaviour.

研究动机与目标

• 解决海量智慧城市传感器数据与有效用户解读方法之间的鸿沟。
• 探索音色化如何通过利用城市环境中的听觉模态，拓展视觉数据表达。
• 整合普适音乐与移动音乐的原则，与音色化结合，创建动态、以用户为中心的城市音景。
• 提出一种新范式——普遍性音色化，实现城市数据的实时、上下文感知音乐表达。
• 构想一个音乐化的智慧城市系统，使市民通过听觉反馈与创造性互动主动参与城市数据交互。

提出的方法

• 将音色化技术与普适音乐及移动音乐框架相结合，实现实时、上下文感知的城市数据音频渲染。
• 利用机器学习实现降维处理，并在城市数据流与音乐参数（如音高、节奏、音色）之间建立跨模态映射。
• 设计一个推测性应用场景，城市数据与用户数据共同影响音乐输出，同时支持信息表达与艺术表达。
• 将香农-韦弗通信模型适配为概念化框架，将音色化视为通过音乐语言传输数据的通道。
• 借鉴牟伦（McLuhan）的“媒介即讯息”理论，强调音乐语言作为音色化设计核心要素的重要性。
• 提出双模式系统，允许用户在信息驱动与艺术表达驱动的音色化输出之间切换。

实验结果

研究问题

• RQ1 音色化技术如何在智慧城市环境中实时呈现多样化、异构的城市数据？
• RQ2 普适音乐与移动音乐原则在何种方式下可通过听觉反馈增强用户对城市数据的参与度？
• RQ3 哪些设计原则能够实现在音色化系统中信息性数据表达与艺术表达之间的平衡？
• RQ4 机器学习如何支持城市传感器数据与音乐参数之间的有效跨模态映射？
• RQ5 将音色化视为一种媒介（而非仅一种方法）会对城市数据感知产生何种影响？

主要发现

• 普遍性音色化被提出为一种新颖的概念性框架，融合音色化、普适音乐与移动计算，用于城市数据表达。
• 本文建立了音色化与香农-韦弗通信模型之间的概念性联系，将音乐语言定位为数据传输的关键通道。
• 强调音乐语言在音色化中的重要性，借鉴牟伦的“媒介即讯息”理论，主张声音的美学形式与所传达的数据同等重要。
• 作者识别出信息驱动型音色化与艺术驱动型音色化之间的二元对立，倡导支持用户在两种模式间自由切换的系统设计。
• 设计了一个基于机器学习将城市数据映射至音乐参数的推测性音乐化智慧城市系统，实现对数据的实时、参与式互动。
• 本研究与环境音景及噪声监测相区别，其核心在于从数据生成全新的音乐内容，而非分析现有城市声音。