[论文解读] Quadratic Neuron-empowered Heterogeneous Autoencoder for Unsupervised Anomaly Detection

Jing-Xiao Liao, Bojian Hou+6 more|arXiv (Cornell University)|Apr 2, 2022

Anomaly Detection Techniques and Applications参考文献 74被引用 5

一句话总结

本文提出了一种新型异构自编码器（HAE），通过整合传统神经元与二次神经元，以提升无监督异常检测性能。借助二次神经元在高效表示非线性特征方面的理论优势，HAE在多个基准数据集上的表现优于同构自编码器及当前最先进模型，其中HAE-Y在平均AUC上达到0.796的最高分，并在平均排名中位列第二（2.500）。

ABSTRACT

Inspired by the complexity and diversity of biological neurons, a quadratic neuron is proposed to replace the inner product in the current neuron with a simplified quadratic function. Employing such a novel type of neurons offers a new perspective on developing deep learning. When analyzing quadratic neurons, we find that there exists a function such that a heterogeneous network can approximate it well with a polynomial number of neurons but a purely conventional or quadratic network needs an exponential number of neurons to achieve the same level of error. Encouraged by this inspiring theoretical result on heterogeneous networks, we directly integrate conventional and quadratic neurons in an autoencoder to make a new type of heterogeneous autoencoders. To our best knowledge, it is the first heterogeneous autoencoder that is made of different types of neurons. Next, we apply the proposed heterogeneous autoencoder to unsupervised anomaly detection for tabular data and bearing fault signals. The anomaly detection faces difficulties such as data unknownness, anomaly feature heterogeneity, and feature unnoticeability, which is suitable for the proposed heterogeneous autoencoder. Its high feature representation ability can characterize a variety of anomaly data (heterogeneity), discriminate the anomaly from the normal (unnoticeability), and accurately learn the distribution of normal samples (unknownness). Experiments show that heterogeneous autoencoders perform competitively compared to other state-of-the-art models.

研究动机与目标

• 解决仅依赖传统神经元与内积运算的同构深度网络的局限性。
• 探索在深度网络架构中结合传统神经元与二次神经元的理论与实际优势。
• 设计一种新型自编码器——异构自编码器（HAE），通过整合不同类型的神经元以提升表征学习能力。
• 通过无监督异常检测实验，验证异构网络在函数逼近方面的理论优越性。
• 证明HAE在参数量与FLOPs更少的情况下，仍能实现优于同构模型的异常检测性能。

提出的方法

• 提出一种二次神经元，用简化二次函数替代传统神经元中的内积运算，以增强非线性特征表示能力。
• 构建一个理论函数，该函数可被异构网络高效逼近，但在纯传统或纯二次网络中则需呈指数级增长的神经元数量。
• 通过在同一架构中融合传统神经元与二次神经元，设计异构自编码器（HAE），以实现更丰富的表征学习。
• 在HAE变体（HAE-X、HAE-Y、HAE-I）中采用双分支或单分支结构，支持共享或独立的编码器-解码器路径。
• 使用标准自编码器损失（重构误差）进行训练，并以AUC为主要指标评估异常检测性能。
• 利用t-SNE可视化对比AE与HAE模型在潜在空间中正常样本与异常样本的聚类情况。

实验结果

研究问题

• RQ1 结合传统神经元与二次神经元的异构网络，是否能比纯传统或纯二次网络更高效地逼近某些函数？
• RQ2 在自编码器架构中引入二次神经元，是否能提升无监督异常检测的表征学习能力？
• RQ3 所提出的异构自编码器在多个数据集上的性能，与当前最先进异常检测模型相比如何？
• RQ4 异构自编码器是否能在参数量与FLOPs更少的情况下，实现优于同构自编码器的异常检测性能？
• RQ5 不同HAE架构（如HAE-X、HAE-Y、HAE-I）对表征质量与检测准确率有何影响？

主要发现

• HAE-Y在所有数据集上实现了0.796的最高平均AUC与第二佳的平均排名（2.500），优于所有基线模型。
• HAE-X在8个数据集中的7个上表现最佳，HAE-Y在6个上领先，展现出一致的优越性。
• HAE在AUC得分上与当前最先进模型（如OCSVM、SUDO、DAGMM）相比具有竞争力或更优，其中HAE-Y在5个数据集上排名第一。
• t-SNE可视化显示，HAE的潜在空间中异常样本比AE更集中，表明异常样本被更好地分离。
• HAE-I在HAE模型中位列第三，AUC比HAE-Y低0.6%，但参数量与FLOPs更少，显示出效率优势。
• 所提出的HAE在性能上持续优于标准自编码器（AE）与二次自编码器（QAE），证实了异构神经元融合的有益效果。