[论文解读] Precision Scaling of Neural Networks for Efficient Audio Processing

Jong Hwan Ko, Josh Fromm+3 more|arXiv (Cornell University)|Dec 4, 2017

Speech and Audio Processing参考文献 7被引用 13

一句话总结

本文提出通过减少权重和神经元位宽，对深度神经网络（DNNs）进行精度缩放，以实现高效的音频处理，采用一种分布感知的位分配方案以最小化量化误差。最优配置——1位权重和2位神经元（W1/N2）——在仅造成3.14%性能下降的情况下实现了高达30倍的加速，相较于WebRTC VAD在语音活动检测中的速度和准确率均表现更优。

ABSTRACT

While deep neural networks have shown powerful performance in many audio applications, their large computation and memory demand has been a challenge for real-time processing. In this paper, we study the impact of scaling the precision of neural networks on the performance of two common audio processing tasks, namely, voice-activity detection and single-channel speech enhancement. We determine the optimal pair of weight/neuron bit precision by exploring its impact on both the performance and processing time. Through experiments conducted with real user data, we demonstrate that deep neural networks that use lower bit precision significantly reduce the processing time (up to 30x). However, their performance impact is low (< 3.14%) only in the case of classification tasks such as those present in voice activity detection.

研究动机与目标

• 为解决深度神经网络（DNNs）在实时音频处理应用中面临的高计算与内存需求。
• 研究不同权重和神经元位精度对音频任务中推理速度与模型性能的影响。
• 识别在语音活动检测（VAD）和语音增强任务中，兼顾处理效率与准确率的最优位精度配置。
• 开发一种分布敏感的位分配方法，以在精度缩放过程中最小化量化误差。
• 评估精度缩放在分类任务（如VAD）与回归任务（如语音增强）中的相对有效性。

提出的方法

• 采用残差误差均值二值化技术，根据权重和神经元值的全局分布分配位数，以最小化量化误差。
• 采用一种位分配方案，其中每个位分配对应于原始值分布均值距离所导出的近似值。
• 将32位运算替换为XNOR和位计数运算，以实现1位网络的更快推理，借助位级并行性。
• 在CNTK框架中实现精度缩放，以利用可变精度DNN层的优化CPU内核。
• 通过统计操作次数并观察内存访问优势来测量理想与实际加速比，实际加速通常超过理想值，因内存加载更高效。
• 使用带50%重叠和Hann平滑的频谱图窗口，在真实噪声语音数据上训练并评估DNN，VAD任务使用真实标签，语音增强任务使用干净语音作为标签。

实验结果

研究问题

• RQ1 在保持语音活动检测和语音增强任务可接受性能的前提下，使处理时间最小化的最优权重与神经元位精度组合是什么？
• RQ2 降低位精度如何影响量化误差？分布感知的位分配方案能否缓解该误差？
• RQ3 在音频处理任务中，精度缩放能在多大程度上减少推理时间而不显著降低模型准确率？
• RQ4 在音频处理中，精度缩放对分类任务（如VAD）是否比对回归任务（如语音增强）更有效？
• RQ5 不同位宽组合如何影响关键性能指标，如信噪比（SNR）、PESQ和帧级检测误差？

主要发现

• W1/N2配置（1位权重，2位神经元）在语音活动检测和语音增强任务中均实现了30倍的处理时间减少。
• 在语音活动检测中，W1/N2模型相比最先进WebRTC VAD将错误率降低了9.54%，同时运行速度快3.7倍。
• 在VAD任务中，错误率仅从32位的8.20%略微上升至W1/N2的11.34%，表明在极端精度缩放下性能退化极小。
• 在语音增强任务中，W1/N2模型实现了10.33 dB的SNR提升，且加速30倍，但PESQ提升有限，因模型在回归任务中容量较低。
• W2/N4配置在PESQ上实现了最佳提升（+0.38），加速9倍，表明回归任务中感知质量提升需要更高精度。
• 加速对权重位数减少更敏感，因为权重可预先量化并更高效加载，从而减少内存访问瓶颈。