[论文解读] Psychoacoustic Sonification as User Interface for Human-Machine Interaction

Tim Ziemer, Nuttawut Nuchprayoon+1 more|arXiv (Cornell University)|Jan 1, 2019

Tactile and Sensory Interactions参考文献 28被引用 9

一句话总结

本文提出了一种基于心理声学的听觉化技术，作为人机交互中先进的听觉用户界面，利用基于感知的声学映射来精确传达三维空间数据（方向与距离）沿三个正交轴的信息。通过利用心理声学原理，该方法在视觉受限环境中实现了无歧义、低延迟、高分辨率的导航与障碍物规避，相较于传统视觉或触觉反馈，在外科手术、消防救援和起重机操作等场景中表现更优。

ABSTRACT

When operating a machine, the operator needs to know some spatial relations, like the relative location of the target or the nearest obstacle. Often, sensors are used to derive this spatial information, and visual displays are deployed as interfaces to communicate this information to the operator. In this paper, we present psychoacoustic sonification as an alternative interface for human-machine interaction. Instead of visualizations, an interactive sound guides the operator to the desired target location, or helps her avoid obstacles in space. By considering psychoacoustics --- i.e., the relationship between the physical and the perceptual attributes of sound --- in the audio signal processing, we can communicate precisely and unambiguously interpretable direction and distance cues along three orthogonal axes to a user. We present exemplary use cases from various application areas where users can benefit from psychoacoustic sonification.

研究动机与目标

• 本文旨在解决在复杂、视觉过载或视线受阻环境中，视觉界面和传统听觉界面的局限性。
• 旨在克服传统听觉化和听觉显示在多维空间任务中存在歧义性和信息密度低的问题。
• 目标是开发一种能够以高精度和低延迟传达连续、可解释且正交的空间线索的用户界面。
• 旨在展示心理声学听觉化在视觉受损或视觉过载的多种现实应用场景中的实际优势。

提出的方法

• 该方法利用心理声学原理，将物理空间数据（距离与方向）映射到感知声学属性，如双耳强度差（ILD）、双耳时差（ITD）以及头相关传输函数（HRTFs）。
• 通过双耳音频技术设计声信号，以编码三维空间坐标，确保各轴之间感知线性和正交性。
• 系统采用连续而非离散的声音映射（与耳标或听觉图标不同），以高分辨率表示区间尺度或比率尺度的数据。
• 将雷达、激光雷达或近距离传感器的数据实时整合为音频反馈，最大限度降低延迟并确保响应速度。
• 通过将物理数据值与感知线性声学参数对齐，确保界面的可解释性与绝对量值的准确表达。
• 界面设计旨在最小化认知负荷，仅提供必要的空间信息，以减少学习时间并避免听觉干扰。

实验结果

研究问题

• RQ1 如何利用心理声学原理，构建一种无歧义、连续且高分辨率的三维空间导航听觉界面？
• RQ2 在视觉受限或视觉过载的环境中，心理声学听觉化相较于传统视觉和听觉人机界面在哪些方面表现更优？
• RQ3 心理声学听觉化能否有效传达多维空间数据（例如沿三个正交轴的方向与距离），并实现感知线性和正交性？
• RQ4 在实际人机交互应用中，如外科导航、消防救援和集装箱起重机操作，心理声学听觉化具有哪些实际优势？
• RQ5 用户在复杂任务中，学习解读和响应三维空间听觉化线索的速度如何？

主要发现

• 心理声学听觉化使用户仅需几分钟训练即可准确感知并导航三维空间关系。
• 该方法成功实现了沿三个维度（x, y, z）的连续、可解释且正交的空间线索的高分辨率、低延迟传达。
• 在模拟和真实场景中（如外科导航和消防救援），该听觉界面减少了对视觉线索的依赖，并提升了空间感知能力。
• 与传统报警系统和触觉反馈相比，该系统不仅提供存在检测，还提供方向和距离信息，表现更优。
• 通过结合双耳音频、HRTFs以及基于ITD/ILD的定位技术，实现了三维空间中精确的声音定位。
• 该方法具有可扩展性和适应性，未来可拓展至六维（例如位置与姿态），实现完整的六自由度控制。