[论文解读] Time Series Diffusion Method: A Denoising Diffusion Probabilistic Model for Vibration Signal Generation

Haiming Yi, Lei Hou+4 more|arXiv (Cornell University)|Dec 13, 2023

Spectroscopy and Chemometric Analyses参考文献 43被引用 4

一句话总结

本文提出时间序列去噪扩散模型（TSDM），一种专为振动信号生成而设计的去噪扩散概率模型，采用改进的带有注意力模块和残差块（ResBlocks）的U-Net架构。该模型在生成高保真单频与多频信号及轴承故障信号方面达到当前最优性能，在公开数据集上将小样本故障诊断准确率最高提升32.38%。

ABSTRACT

Diffusion models have demonstrated powerful data generation capabilities in various research fields such as image generation. However, in the field of vibration signal generation, the criteria for evaluating the quality of the generated signal are different from that of image generation and there is a fundamental difference between them. At present, there is no research on the ability of diffusion model to generate vibration signal. In this paper, a Time Series Diffusion Method (TSDM) is proposed for vibration signal generation, leveraging the foundational principles of diffusion models. The TSDM uses an improved U-net architecture with attention block, ResBlock and TimeEmbedding to effectively segment and extract features from one-dimensional time series data. It operates based on forward diffusion and reverse denoising processes for time-series generation. Experimental validation is conducted using single-frequency, multi-frequency datasets, and bearing fault datasets. The results show that TSDM can accurately generate the single-frequency and multi-frequency features in the time series and retain the basic frequency features for the diffusion generation results of the bearing fault series. It is also found that the original DDPM could not generate high quality vibration signals, but the improved U-net in TSDM, which applied the combination of attention block and ResBlock, could effectively improve the quality of vibration signal generation. Finally, TSDM is applied to the small sample fault diagnosis of three public bearing fault datasets, and the results show that the accuracy of small sample fault diagnosis of the three datasets is improved by 32.380%, 18.355% and 9.298% at most, respectively.

研究动机与目标

• 为解决去噪扩散模型在振动信号生成中应用不足的问题，其中信号质量评估与图像生成存在根本性差异。
• 开发一种基于扩散的生成模型，专门适配一维振动信号的时间与频谱特性。
• 通过U-Net架构的创新，提升生成振动信号的质量，特别是轴承信号中的故障特征。
• 在真实世界轴承故障数据集上，验证TSDM在少样本故障诊断场景下的有效性。
• 证明如注意力模块和残差块等架构改进在振动信号生成中显著优于标准DDPM。

提出的方法

• TSDM采用去噪扩散概率框架，通过逐步添加噪声到时间序列数据实现前向扩散过程，并通过反向去噪生成逼真的信号。
• 模型采用在残差块（ResBlocks）和时间注意力机制增强的U-Net主干网络，以更好地捕捉一维信号中的长程依赖关系。
• 引入TimeEmbedding以在去噪过程中根据扩散步长进行条件控制，实现信号的逐步精细化。
• 通过端到端的去噪得分匹配目标进行模型训练，最小化预测去噪信号与真实去噪信号之间的差异。
• 在单频、多频及轴承故障数据集上评估模型，以衡量其生成信号的保真度与特征保留能力。
• 通过在小样本训练集中引入生成信号，对TSDM进行微调并应用于少样本故障诊断任务。

实验结果

研究问题

• RQ1 去噪扩散模型能否有效生成保留目标频率与故障特征的高保真一维振动信号？
• RQ2 在U-Net架构中集成注意力模块与残差块，相较于标准DDPM，如何提升振动信号生成性能？
• RQ3 TSDM在真实世界轴承数据集上，能在多大程度上提升小样本故障诊断性能？
• RQ4 该模型是否能在生成的轴承振动信号中保留基频分量与故障相关的瞬态特征？
• RQ5 在生成复杂非平稳振动信号方面，TSDM相较于基线DDPM表现如何？

主要发现

• TSDM成功生成了高保真的单频与多频振动信号，准确保留了目标频率分量。
• 即使在经历扩散与去噪过程后，模型仍能保留轴承振动信号中的关键故障特征，包括瞬态冲击与周期性模式。
• 采用注意力模块与残差块改进的U-Net架构显著优于标准DDPM，后者无法生成高质量的振动信号。
• 在三个公开轴承故障数据集上，TSDM将小样本故障诊断准确率分别提升了最高32.38%、18.355%与9.298%。
• 消融实验表明，注意力模块与残差块的组合对于捕捉振动信号中的复杂时间动态至关重要。
• TSDM在多种信号类型（包括干净信号、多频信号与故障冲击信号）上均表现出强大的泛化能力。