[论文解读] SuSi: Supervised Self-Organizing Maps for Regression and Classification in Python

Felix M. Riese, Sina Keller|arXiv (Cornell University)|Mar 26, 2019

Neural Networks and Applications被引用 16

一句话总结

本文介绍了 SuSi，一个免费、开源的 Python 软件包，用于实现监督自组织映射（SOMs）的回归与分类任务。该方法结合了无监督 SOM 训练与监督学习，以提升泛化能力，尤其在小样本数据集上表现优异，并在多种地理空间数据集上展现出稳健性能，且训练集与测试集性能差距极小。

ABSTRACT

In many research fields, the sizes of the existing datasets vary widely. Hence, there is a need for machine learning techniques which are well-suited for these different datasets. One possible technique is the self-organizing map (SOM), a type of artificial neural network which is, so far, weakly represented in the field of machine learning. The SOM's unique characteristic is the neighborhood relationship of the output neurons. This relationship improves the ability of generalization on small datasets. SOMs are mostly applied in unsupervised learning and few studies focus on using SOMs as supervised learning approach. Furthermore, no appropriate SOM package is available with respect to machine learning standards and in the widely used programming language Python. In this paper, we introduce the freely available Supervised Self-organizing maps (SuSi) Python package which performs supervised regression and classification. The implementation of SuSi is described with respect to the underlying mathematics. Then, we present first evaluations of the SOM for regression and classification datasets from two different domains of geospatial image analysis. Despite the early stage of its development, the SuSi framework performs well and is characterized by only small performance differences between the training and the test datasets. A comparison of the SuSi framework with existing Python and R packages demonstrates the importance of the SuSi framework. In future work, the SuSi framework will be extended, optimized and upgraded e.g. with tools to better understand and visualize the input data as well as the handling of missing and incomplete data.

研究动机与目标

• 解决机器学习领域中自组织映射（SOMs）缺乏标准化、文档齐全且持续维护的 Python 软件包的问题。
• 为回归与分类任务中的无监督与监督 SOM 应用提供统一框架。
• 通过利用 SOM 的邻域结构来减少过拟合，从而在小样本数据集上实现稳健的机器学习性能。
• 通过提供复杂数据关系的可解释性二维可视化，支持实际的地理空间应用，特别是高光谱图像分析。
• 为未来扩展奠定基础，包括处理缺失数据和增强可解释性工具。

提出的方法

• 采用两阶段流程：首先，使用竞争学习和基于邻域的权重更新方法，对输入数据进行无监督 SOM 训练。
• 引入监督学习扩展，通过类似反向传播的更新方式，训练输出神经元以预测目标变量（回归或分类）。
• 应用邻域函数（如高斯核）将权重更新传播至相邻神经元，以保持拓扑结构。
• 采用一致的变量命名规范和面向对象设计，确保代码清晰性，并与 scikit-learn 标准兼容。
• 在基于 TensorFlow 的变体中集成 GPU 支持，并确保与 Python 3 和 PyPI 兼容，便于安装。
• 通过二维 SOM 网格可视化结果，以解释数据聚类与类别分布，增强模型可解释性。

实验结果

研究问题

• RQ1 是否能够以类似 scikit-learn 的易用性与可维护性，在 Python 中有效实现监督 SOM 框架？
• RQ2 在小样本与大样本数据集上的回归与分类任务中，SuSi 的性能与成熟机器学习模型（如随机森林）相比如何？
• RQ3 SOM 的邻域结构在监督学习中，特别是在小样本数据集上，能在多大程度上减少过拟合？
• RQ4 SuSi 框架在地理空间应用中，通过二维可视化复杂数据关系，其可解释性支持效果如何？
• RQ5 与现有 Python 和 R 中的 SOM 软件包相比，SuSi 在功能、文档和可扩展性方面的主要优势是什么？

主要发现

• SuSi 框架在仅 679 个样本的小样本数据集上也实现了稳定性能，训练集与测试集指标差异极小，表明过拟合程度极低。
• 在 Salinas Valley 高光谱图像分类任务中，SuSi 分类 SOM 的性能与随机森林分类器相当，但训练集上的过拟合现象显著更低。
• 二维 SOM 网格能有效可视化数据结构，由于训练过程中邻域约束，同一类别的神经元会聚集在一起。
• SuSi 软件包是首个提供监督回归与分类功能且具有清晰、类似 scikit-learn 风格 API 的 Python 实现，填补了该生态系统的重大空白。
• 与现有软件包相比，SuSi 独特地支持监督学习、全面的文档以及通过 PyPI 实现的便捷安装，同时保持活跃开发。
• 该框架可利用训练集性能作为袋外估计（out-of-bag estimate）的潜力，表明其在数据划分不可行时可能提升训练效率。