[论文解读] Robust Time Series Denoising with Learnable Wavelet Packet Transform

Gaëtan Frusque, Olga Fink|arXiv (Cornell University)|Jun 13, 2022

Image and Signal Denoising Methods被引用 10

一句话总结

本文提出了一种可学习的小波包变换（L-WPT），用于实现鲁棒的时间序列去噪，结合了小波包变换的可解释性与深度神经网络的自适应学习能力。该方法在合成信号和真实世界音频信号上去噪性能达到当前最先进水平，对未见过的噪声类型和强度具有良好的泛化能力，并可通过一种合理的 $δ$-参数修改方法在推理阶段调整参数，无需重新训练。

ABSTRACT

Signal denoising is a key preprocessing step for many applications, as the performance of a learning task is closely related to the quality of the input data. In this paper, we apply a signal processing based deep neural network architecture, a learnable extension of the wavelet packet transform. As main advantages, this model has few parameters, an intuitive initialization and strong learning capabilities. Moreover, we show that it is possible to easily modify the parameters of the model after the training step to tailor to different noise intensities. Two case studies are conducted to compare this model with the state of the art and commonly used denoising procedures. The first experiment uses standard signals to study denoising properties of the algorithms. The second experiment is a real application with the objective to remove audio background noises. We show that the learnable wavelet packet transform has the learning capabilities of deep learning methods while maintaining the robustness of standard signal processing approaches. More specifically, we demonstrate that our approach maintains excellent denoising performances on signal classes separate from those used during the training step. Moreover, the learnable wavelet packet transform was found to be robust when different noise intensities, noise varieties and artifacts are considered.

研究动机与目标

• 开发一种结合信号处理鲁棒性与深度学习学习能力的去噪方法。
• 实现在无需重新训练的前提下，对不同噪声水平的去噪性能进行推理阶段调整。
• 评估模型在训练分布外的信号类别和噪声类型上的泛化能力。
• 在真实世界音频背景噪声去除任务中，性能优于当前最先进方法。
• 提供一种可解释、参数高效且具有直观初始化方式的架构。

提出的方法

• L-WPT 架构采用可学习的小波包变换与可学习的激活函数，其行为类似于小波软阈值化操作。
• 模型作为监督自编码器，在干净-噪声信号对上进行训练，以学习最优的分解与阈值参数。
• 提出一种新颖的 $δ$-修改技术，可在训练后手动调整已学习参数，以适应新的噪声强度。
• 采用先前工作中 L-WPT 架构的松弛版本，以提升训练稳定性和性能。
• 模型参数初始化方式与标准小波包变换行为保持一致，以提升收敛速度与可解释性。
• 利用 L-WPT 的时频表示作为去噪的特征空间，保留多分辨率信号特征。

实验结果

研究问题

• RQ1 可学习的小波包变换是否能在去噪性能上超越标准小波去噪与深度学习基线方法？
• RQ2 L-WPT 在训练过程中未见过的信号类别和噪声类型上，泛化能力如何？
• RQ3 $δ$-修改技术在无需重新训练的情况下，适应新噪声水平的有效性如何？
• RQ4 L-WPT 在不同噪声强度和伪影条件下是否保持鲁棒性？
• RQ5 L-WPT 是否能有效应用于真实世界音频背景噪声抑制任务？

主要发现

• 在合成测试信号上，L-WPT 的去噪性能优于标准小波包去噪与深度学习基线方法，展现出更强的学习能力。
• 模型在未见的信号类别上泛化良好，即使在测试信号与训练分布不同时，仍保持强劲的去噪性能。
• $δ$-修改技术可在训练后有效适应新噪声水平，且在不同信噪比下性能保持稳定。
• 在真实世界机场背景噪声去除任务中，L-WPT 的去噪性能优于所有对比方法，包括当前最先进深度学习模型。
• L-WPT 对多种噪声类型和伪影表现出鲁棒性，在不同噪声强度与频谱内容下均保持一致的性能表现。
• 增益分数分析表明，L-WPT 成功学习到对低频背景噪声（0–800 Hz）进行抑制，同时保留了高频分量，体现出有效的频带特定去噪能力。