[论文解读] Now Playing: Continuous low-power music recognition

Arcas, Blaise Agüera y, Beat Gfeller+9 more|arXiv (Cornell University)|Nov 29, 2017

Music and Audio Processing参考文献 11被引用 21

一句话总结

本文提出 Now Playing，一种连续的、基于设备端的音乐识别系统，该系统利用低功耗 DSP 基础的音乐检测器，在检测到音乐时才唤醒神经网络指纹识别模块，从而实现实时、保护隐私的歌曲识别，且在移动设备上每日功耗低于 1%。

ABSTRACT

Existing music recognition applications require a connection to a server that performs the actual recognition. In this paper we present a low-power music recognizer that runs entirely on a mobile device and automatically recognizes music without user interaction. To reduce battery consumption, a small music detector runs continuously on the mobile device's DSP chip and wakes up the main application processor only when it is confident that music is present. Once woken, the recognizer on the application processor is provided with a few seconds of audio which is fingerprinted and compared to the stored fingerprints in the on-device fingerprint database of tens of thousands of songs. Our presented system, Now Playing, has a daily battery usage of less than 1% on average, respects user privacy by running entirely on-device and can passively recognize a wide range of music.

研究动机与目标

• 在移动设备上实现无需用户交互或互联网连接的连续、被动音乐识别。
• 通过将音乐检测任务卸载到专用 DSP 芯片，并仅在检测到音乐时唤醒主处理器，以最小化电池消耗。
• 通过确保所有音频处理和指纹匹配完全在设备端完成，不向服务器发送任何数据，从而保护用户隐私。
• 使用紧凑的 96 维神经网络指纹识别器和高效的设备端指纹匹配，实现高识别准确率。
• 通过优化指纹大小和数据库压缩策略，在移动设备的资源限制下实现存储效率与识别性能之间的平衡。

提出的方法

• 神经网络指纹识别器（NNFP）每秒从短音频片段生成一个 96 维嵌入向量，通过三元组损失进行训练，以确保同一首歌曲的相似性具有区分性。
• 轻量级音乐检测器持续运行在 DSP 芯片上，分析音频流，并仅在确信检测到音乐时才触发主处理器。
• 系统使用几秒钟内检测结果的滑动窗口平均值，要求连续 c 次高置信度检测结果超过阈值才能触发识别。
• 指纹匹配采用近似最近邻搜索，随后进行细粒度打分，以高效地从设备端存储的数万个指纹数据库中识别歌曲。
• 指纹数据库通过量化策略进行压缩，减少存储占用，同时保持识别准确率，平均每首歌曲占用空间小于 3 KB。
• 整个系统使用量化激活进行训练，以模拟在低精度移动硬件上的部署，确保能效。

实验结果

研究问题

• RQ1 是否可以完全在移动设备上实现一种连续的、低功耗的音乐识别系统，而无需依赖服务器端处理？
• RQ2 在移动设备部署时，指纹大小、识别准确率和设备端存储效率之间的最优权衡是什么？
• RQ3 如何设计音乐检测器，以在现实音频环境中存在背景噪声的情况下，将误报率降至最低，同时保持足够的召回率？
• RQ4 在真实使用条件下，完全基于设备端的音乐识别系统可实现的电池消耗水平是多少？
• RQ5 神经网络指纹识别与匹配在移动 DSP 和应用处理器上，如何实现低功耗、实时性能的最优化？

主要发现

• 系统每日功耗为 23.5 mAh，约占 Pixel 2 2700 mAh 电池容量的 0.9%，且平均每日仅唤醒 100 次。
• 96 维指纹模型的精确率/召回率性能仅比 128 维模型略差，但存储空间减少了 30%。
• 音乐检测器在包含多样化背景噪声的 450 小时测试集上实现了 75.5% 的召回率，同时在非静音音频上保持约每 20 分钟一次的误报率。
• 神经网络指纹识别器每秒生成一个 96 维嵌入向量，实现低延迟的实时处理。
• 系统能够无用户交互地被动、连续识别音乐，所有处理和数据存储均局限于设备内部。
• 采用基于 DSP 的门控机制将整体功耗增加控制在 0.4 mA 以下待机功耗，额外功耗仅在主处理器短暂唤醒期间消耗。