[论文解读] UniLog: Deploy One Model and Specialize it for All Log Analysis Tasks

Yichen Zhu, Weibin Meng+5 more|arXiv (Cornell University)|Dec 6, 2021

Data Stream Mining Techniques被引用 4

一句话总结

UniLog 提出了一种统一的、基于预训练变换器的框架，通过在多样化的无标签日志数据上进行多任务微调，使单一模型能够专门化于多种日志分析任务——日志异常检测、故障预测、摘要生成和压缩。它在七个公开数据集上实现了最先进或更优的性能，展示了对未见领域的强大泛化能力以及对数据异质性和概念漂移的鲁棒性。

ABSTRACT

UniLog: Deploy One Model and Specialize it for All Log Analysis Tasks

研究动机与目标

• 为解决为不同日志分析任务部署多个专用模型所带来的维护成本和复杂性增加的挑战。
• 实现单一模型在来自不同设备、时间段和领域的异构日志数据上的泛化能力。
• 在统一框架下统一多种日志分析任务，如异常检测、故障预测、摘要生成和压缩。
• 通过多任务微调实现单一模型的自动专业化，减少对特定任务工程的依赖。
• 评估模型在未见数据集上的泛化能力，以及应对数据领域漂移和概念漂移的能力。

提出的方法

• 在来自多个来源和设备的多样化无标签日志数据混合数据集上，预训练一个大规模、领域无关的变换器模型。
• 设计一种新颖的预训练目标，结合前缀语言建模和掩码序列预测，以更好地捕捉日志的语义和结构。
• 实施一种多日志任务微调策略，通过共享架构和任务特定头，将预训练模型适配到特定日志分析任务。
• 引入 LogAct 激活函数，一种为非结构化日志表示量身定制的可学习非线性激活层，以提升特征表达能力。
• 采用 Pre-LN（预层归一化）架构，以增强深层变换器网络在日志数据上的训练稳定性和性能。
• 采用渐进式预训练策略，在预训练过程中逐步增加日志数据集的数量，以评估数据规模的影响。

实验结果

研究问题

• RQ1 一个单一的预训练变换器模型能否在来自不同设备和时间段的多样化日志数据上实现有效泛化？
• RQ2 在多个日志分析任务上进行多任务微调是否相比专用模型能提升性能？
• RQ3 与标准 BERT 风格和前缀语言建模目标相比，所提出的预训练目标在日志表征学习中的表现如何？
• RQ4 增加无标签日志数据量在多大程度上能提升下游任务的性能？
• RQ5 UniLog 模型能否在无需微调的情况下泛化到未见的日志数据集？与现有领域自适应方法相比表现如何？

主要发现

• 在 Switch 日志数据集上，UniLog 在故障预测任务上的 F1 分数平均优于最先进方法 PreFix 5.46%。
• 在日志异常检测任务上，UniLog 在 HDFS 和 BGL 数据集上的 F1 分数均高于最先进方法。
• 在日志摘要生成任务上，UniLog 的 F1 分数比 BERT 风格预训练目标高出 0.125，表明其语义表征学习能力更优。
• 当在包含 Switch 的数据集组合上进行预训练时，UniLog 在异常检测任务上的 F1 分数达到 0.98（相较于仅在 HDFS 上训练的 0.95），表明数据量增加可提升性能。
• 在未见的 Hadoop 数据集上，UniLog 的泛化能力优于 LogTransfer，F1 分数高出 0.16，展现出强大的零样本迁移能力。
• LogAct 层在日志异常检测的所有指标上使 F1 分数提升 1%，在日志摘要生成任务上使精确率提升超过 3.1%，证实了其有效性。