[论文解读] PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection

Ronghui Xu, Hao Miao+3 more|arXiv (Cornell University)|Jun 4, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

PeFAD 提出了一种用于时间序列异常检测的参数高效联邦学习框架，该框架利用预训练语言模型（PLM）进行鲁棒表示学习，同时通过微调小型适配器参数来最小化通信和计算成本。它引入了一种异常驱动的掩码选择策略以及一种保护隐私的合成数据集蒸馏机制，以提高检测准确率并应对数据异构性，在真实世界数据集上相比SOTA基线模型性能最高提升28.74%。

ABSTRACT

With the proliferation of mobile sensing techniques, huge amounts of time series data are generated and accumulated in various domains, fueling plenty of real-world applications. In this setting, time series anomaly detection is practically important. It endeavors to identify deviant samples from the normal sample distribution in time series. Existing approaches generally assume that all the time series is available at a central location. However, we are witnessing the decentralized collection of time series due to the deployment of various edge devices. To bridge the gap between the decentralized time series data and the centralized anomaly detection algorithms, we propose a Parameter-efficient Federated Anomaly Detection framework named PeFAD with the increasing privacy concerns. PeFAD for the first time employs the pre-trained language model (PLM) as the body of the client's local model, which can benefit from its cross-modality knowledge transfer capability. To reduce the communication overhead and local model adaptation cost, we propose a parameter-efficient federated training module such that clients only need to fine-tune small-scale parameters and transmit them to the server for update. PeFAD utilizes a novel anomaly-driven mask selection strategy to mitigate the impact of neglected anomalies during training. A knowledge distillation operation on a synthetic privacy-preserving dataset that is shared by all the clients is also proposed to address the data heterogeneity issue across clients. We conduct extensive evaluations on four real datasets, where PeFAD outperforms existing state-of-the-art baselines by up to 28.74%.

研究动机与目标

• 为解决在严格隐私约束下无法集中聚合数据的去中心化时间序列异常检测挑战。
• 克服联邦设置中数据稀缺及表示学习能力差的问题，特别是针对罕见异常模式。
• 在保持模型性能的同时，减少联邦训练中的通信和计算开销。
• 通过减轻异常在模型预训练和微调过程中的影响，提升异常检测的鲁棒性。
• 通过一种保护隐私的共享合成数据集生成机制，应对客户端数据异构性问题。

提出的方法

• 在本地客户端模型中采用预训练语言模型（PLM）作为主干网络，以利用跨模态知识并提升表示学习能力。
• 引入一种参数高效的联邦训练模块，仅微调并传输小型适配器参数，从而降低通信和计算成本。
• 提出一种异常驱动的掩码选择（ADMS）策略，根据异常可能性动态选择掩码模式，以增强重建鲁棒性。
• 设计一种基于互信息和Wasserstein距离约束的隐私保护数据集生成机制，以生成一致且私有的合成数据，供客户端共享。
• 在共享的合成数据集上应用知识蒸馏，以对齐客户端模型并提升在异构数据分布下的泛化能力。
• 采用双对比学习目标，以在联邦训练过程中增强特征判别力和模型鲁棒性。

实验结果

研究问题

• RQ1 在本地数据有限的联邦设置下，预训练语言模型能否有效提升时间序列异常检测的表示学习能力？
• RQ2 参数高效的微调在多大程度上可降低联邦时间序列异常检测中的通信和计算开销？
• RQ3 通过聚焦于动态和异常区域，异常驱动的掩码选择在多大程度上能提升检测性能？
• RQ4 一种保护隐私的合成数据集能否缓解联邦异常检测中客户端间非独立同分布（non-IID）数据的影响？
• RQ5 在共享合成数据上应用知识蒸馏，如何提升异构联邦设置下模型的泛化能力和收敛性？

主要发现

• PeFAD在四个真实世界时间序列数据集上，F1-score相比SOTA基线最高提升28.74%。
• 使用预训练语言模型显著增强了表示学习能力，尤其在低数据场景下，提升了对稀疏异常模式的检测性能。
• 异常驱动的掩码选择（ADMS）策略通过聚焦于时间序列中动态变化的区域，增强了模型对异常的敏感性。
• 参数高效的微调模块通过仅传输小型适配器参数，显著降低了通信开销，同时保持了高模型准确率。
• 结合互信息和Wasserstein距离约束的隐私保护合成数据生成机制，生成了高质量且私有的数据，有效提升了客户端模型对齐度和全局模型稳定性。
• 消融实验表明，每个组件——PLM、ADMS和PPDS——均对整体性能有显著贡献，其中PLM主干网络在表示学习方面提供了最强的性能增益。