[论文解读] Wavelet Networks: Scale-Translation Equivariant Learning From Raw Time-Series

David W. Romero, Erik J. Bekkers+2 more|arXiv (Cornell University)|Jun 9, 2020

Neural Networks and Applications被引用 5

一句话总结

本文提出小波网络（Wavelet Networks），这是一种新颖的、具备尺度-平移等变性的神经网络架构，专为原始时间序列数据设计，利用时间信号中固有的对称性。通过构建对尺度和位移变换保持等变性的群卷积，该架构模仿小波变换，实现端到端学习，在无需预处理的情况下，于音频、环境声音和电学信号任务上达到与人工设计的频谱图方法相当的性能，同时展现出更优的数据效率。

ABSTRACT

Leveraging the symmetries inherent to specific data domains for the construction of equivariant neural networks has lead to remarkable improvements in terms of data efficiency and generalization. However, most existing research focuses on symmetries arising from planar and volumetric data, leaving a crucial data source largely underexplored: time-series. In this work, we fill this gap by leveraging the symmetries inherent to time-series for the construction of equivariant neural network. We identify two core symmetries: *scale and translation*, and construct scale-translation equivariant neural networks for time-series learning. Intriguingly, we find that scale-translation equivariant mappings share strong resemblance with the wavelet transform. Inspired by this resemblance, we term our networks Wavelet Networks, and show that they perform nested non-linear wavelet-like time-frequency transforms. Empirical results show that Wavelet Networks outperform conventional CNNs on raw waveforms, and match strongly engineered spectrogram techniques across several tasks and time-series types, including audio, environmental sounds, and electrical signals. Our code is publicly available at https://github.com/dwromero/wavelet_networks.

研究动机与目标

• 为解决时间序列数据中尚未充分探索的对称性，特别是尺度和位移不变性，这些特性在信号处理中具有基础性作用。
• 开发一种在所有层中保持这些对称性的神经网络架构，以提升数据效率和泛化能力。
• 通过构建一个可微分、端到端的架构，借鉴小波类似变换，弥合经典小波变换与深度学习之间的差距。
• 证明相对于标准卷积神经网络（CNNs），在原始时间序列任务中，对尺度和位移的等变性可带来性能提升。
• 提供一种可扩展、参数高效的频谱图模型替代方案，避免预处理并降低模型复杂度。

提出的方法

• 该方法采用对仿射群（即尺度和位移变换）保持等变的群卷积，确保输入变换在特征空间中被一致映射。
• 每一层均被设计为模拟小波变换，通过B样条基函数参数化扩张卷积核，以支持多尺度、位移不变的表示。
• 该网络采用这些等变层的分层堆叠结构，每一层执行非线性、类似小波的时间-频率分解。
• 通过确保每一层的输出在尺度和位移变换下一致地变换，该架构在所有层中保持等变性，类似于小波变换的行为。
• 模型在原始波形上通过标准反向传播进行端到端训练，完全不依赖预计算的频谱图或手工设计的特征。
• 通过大卷积核的连续参数化以及根据卷积核大小在空间域与傅里叶域卷积之间动态切换，进一步提升效率。

实验结果

研究问题

• RQ1 神经网络中的尺度-平移等变性是否能提升原始时间序列学习的数据效率与泛化能力？
• RQ2 小波类似变换在尺度-平移等变卷积中在多大程度上自然涌现？
• RQ3 与将频谱图作为预处理前端的方法相比，各层间端到端的等变性有何优势？
• RQ4 在长输入长度的时间序列模型中，尺度间交互作用对性能有何影响？
• RQ5 基于小波启发的架构能否达到或超越如梅尔频谱图等高度工程化的基于频谱图模型的性能？

主要发现

• 小波网络在多个时间序列任务（包括音频和电学信号）中，相较于标准卷积神经网络（CNNs）在原始波形上表现更优，展现出更高的数据效率。
• 在US8K音频数据集上，该模型在使用原始波形且参数量更少的情况下，性能与基于梅尔频谱图的方法相当。
• 网络中的尺度间交互作用始终能提升性能，与视觉模型中因截断导致等变性误差的情况不同。
• 该架构的内部层表现出与连续小波变换高度相似的特征，验证了群等变性与小波分析之间的理论关联。
• 连续核参数化与傅里叶域卷积的使用显著提升了大卷积核的计算效率。
• 内存占用与训练时间随考虑的尺度数量增长，但蒙特卡洛近似与可分离群卷积为未来优化提供了有希望的路径。