[论文解读] Ways of Listening and Modes of Being: Electroacoustic Auditory Display

Paul Vickers|arXiv (Cornell University)|Nov 21, 2013

Music Technology and Sound Studies被引用 12

一句话总结

本文提出，电声听觉显示——即数据的非语音声学表征——作为一种有组织的声音形式发挥作用，借助符号学与美学理论，将听觉显示重新定义为一种塑造人类感知与存在的聆听模式。通过将聆听视为一种具身的、诠释性的实践，本研究揭示了听觉显示如何通过声音形式实现对数据的新感知方式，为视觉数据呈现提供了一种现象学的替代方案。

ABSTRACT

Auditory display is concerned with the use of non-speech sound to communicate information. If the term seems at first oxymoronic, then consider auditory display as an activity of perceptualization, that is, the process of making perceptible to humans aspects or features of a given data set or system. Most commonly this is done using visual representations (which process we call visualization) but it is not limited to the visual channel and recent years have witnessed the increased use of auditory representations in the production of tools for exploring data. By way of semiotics and an aesthetic perspective shift this article posits that auditory display may be considered a form of organized sound and explores the listening experience in this context.

研究动机与目标

• 将听觉显示重新定义为不仅限于信息传递，而是一种艺术性与感知性参与的形式。
• 探究电声声音中的聆听模式如何影响人类在数据探索过程中的感知与认知。
• 通过符号学与美学框架，将人机交互与声学艺术相连接，以支持听觉显示设计。
• 通过展示声学表征的认识论与体验价值，挑战视觉可视化的主导地位。

提出的方法

• 本研究采用符号学分析方法，将听觉显示视为具有表意潜能的结构化声景。
• 借鉴现象学与美学理论，探讨听者在非视觉数据情境中如何与声音互动。
• 作者分析特定电声听觉显示作为有组织声音的实例，强调其结构与感知特性。
• 通过对比视觉与听觉表征模式，突出感知参与方式的差异。
• 将听觉显示界定为一种‘感知化’形式——即通过声音使数据可感知，类似于通过视觉实现的可视化。
• 理论基础源自声学研究、人机交互与当代音乐学，以支持这一概念性转变。

实验结果

研究问题

• RQ1 在认知与感知参与方面，聆听电声听觉显示与视觉数据解读有何不同？
• RQ2 听觉显示在何种意义上可被视为具有美学与符号学意义的有组织声音形式？
• RQ3 不同的聆听模式如何塑造用户通过声音体验与解读数据的方式？
• RQ4 具身性与现象学在听觉显示交互中扮演何种角色？
• RQ5 与视觉手段相比，听觉显示如何为理解复杂数据提供替代的认识论路径？

主要发现

• 听觉显示是一种有组织的声音形式，而不仅限于信息传递的技术工具。
• 聆听听觉显示涉及主动的、具身的感知，从而塑造用户与数据共在的方式。
• 本研究证明，声学表征可通过非视觉的感知通道支持复杂数据探索。
• 在某些情境下，电声听觉显示比传统可视化提供了更丰富、更细腻的数据参与模式。
• 本文确立了听觉显示在认识论上与可视化相异，通过声音提供了另类的知觉方式。
• 通过整合符号学与美学，本文将听觉显示重新定位为艺术与认知实践的合法领域。