[论文解读] StreamSoNG: A Soft Streaming Classification Approach

Wenlong Wu, James M. Keller+2 more|arXiv (Cornell University)|Oct 1, 2020

Data Stream Mining Techniques参考文献 40被引用 4

一句话总结

StreamSoNG 提出了一种软性流分类方法，利用神经气泡（Neural Gas）原型作为动态足迹，通过改进的possibilistic k-最近邻算法为传入数据生成可能性标签向量（典型性）。在合成数据集和真实图像数据集上的评估表明，其分类准确率和对概念漂移的鲁棒性优于自适应随机森林（Adaptive Random Forest）、极快决策规则（Very Fast Decision Rules）和DenStream。

ABSTRACT

Examining most streaming clustering algorithms leads to the understanding that they are actually incremental classification models. They model existing and newly discovered structures via summary information that we call footprints. Incoming data is normally assigned a crisp label (into one of the structures) and that structure's footprint is incrementally updated. There is no reason that these assignments need to be crisp. In this paper, we propose a new streaming classification algorithm that uses Neural Gas prototypes as footprints and produces a possibilistic label vector (of typicalities) for each incoming vector. These typicalities are generated by a modified possibilistic k-nearest neighbor algorithm. The approach is tested on synthetic and real image datasets. We compare our approach to three other streaming classifiers based on the Adaptive Random Forest, Very Fast Decision Rules, and the DenStream algorithm with excellent results.

研究动机与目标

• 为解决流分类中硬性标签的局限性，提出一种软性、possibilistic（可能性）的方法。
• 通过源自神经气泡原型的动态足迹，对演化数据结构进行建模。
• 通过基于典型性的分配方式，提升在概念漂移场景下的分类鲁棒性。
• 提供一种灵活的增量学习框架，在最小化再训练的前提下保持高准确率。
• 在多样化的图像与合成数据集上，对性能进行评估并与现有流分类器进行对比。

提出的方法

• 该方法采用神经气泡原型作为足迹，用于在流式环境中表示现有及新兴的数据结构。
• 每个传入的数据向量被赋予一个可能性标签向量，表示其对每个聚类的典型性，而非硬性标签。
• 通过改进的possibilistic k-最近邻算法计算典型性，基于到最近原型的距离，对异常值具有更强的鲁棒性。
• 通过软更新规则对足迹进行增量式更新，从而在时间上保持结构完整性。
• 该算法支持在线学习，计算开销极低，适用于实时应用。
• 该方法通过典型性分数实现不确定性建模，从而更好地处理模糊或噪声数据。

实验结果

研究问题

• RQ1 如何通过用possibilistic典型性分数替代硬性标签来改进流分类？
• RQ2 神经气泡原型能否在流式场景中有效充当演化数据结构的动态足迹？
• RQ3 改进的possibilistic k-NN算法是否能增强对概念漂移和异常值的鲁棒性？
• RQ4 与现有流分类器相比，该软性分类方法在准确率和稳定性方面表现如何？
• RQ5 该方法在流式条件下能否在合成数据集和真实世界图像数据集上均保持高性能？

主要发现

• 在基准数据集上，StreamSoNG的分类准确率显著优于自适应随机森林（Adaptive Random Forest）、极快决策规则（Very Fast Decision Rules）和DenStream。
• 使用possibilistic典型性显著提升了对概念漂移和噪声数据的鲁棒性。
• 神经气泡原型以极低的内存和计算开销有效捕捉了演化中的数据结构。
• 改进的possibilistic k-NN算法在检测聚类边界和异常值方面表现出更强的敏感性。
• 该方法在真实图像数据集上保持了高性能，包括复杂且非线性可分的模式。
• 结果证实，在动态演化数据环境中，通过典型性向量进行软性分配优于硬性标签。