[论文解读] Traitement Des Donnees Manquantes Au Moyen De L'Algorithme De Kohonen

Marie Cottrell, Smaïl Ibbou+1 more|ArXiv.org|Apr 13, 2007

Medieval European Literature and History参考文献 4被引用 3

一句话总结

本文提出使用Kohonen自组织映射（SOM）算法，通过利用数据的拓扑排序来估计数据集中的缺失值。该方法将缺失值视为需通过邻域学习来填补的未知数，在三个真实世界数据集上展示了有效的插补效果，提升了数据质量与聚类性能。

ABSTRACT

Nous montrons comment il est possible d'utiliser l'algorithme d'auto organisation de Kohonen pour traiter des données avec valeurs manquantes et estimer ces dernières. Après un rappel méthodologique, nous illustrons notre propos à partir de trois applications à des données réelles. ----- We show how it is possible to use the Kohonen self-organizing algorithm to deal with data which contain missing values and to estimate them. After a methodological recall, we illustrate our purpose from three real databases applications.

研究动机与目标

• 开发一种基于无监督学习处理缺失值数据集的方法。
• 应用Kohonen自组织算法，基于数据拓扑结构估计缺失数据点。
• 在真实世界数据集上验证该方法，评估插补准确性和鲁棒性。
• 证明基于SOM的插补方法能保持数据结构，并提升下游分析效果。

提出的方法

• 在不完整数据上训练Kohonen自组织映射（SOM），在权重调整过程中将缺失值视为未知数。
• 在训练过程中，算法仅使用观测到的特征来计算最佳匹配单元（BMU）并更新权重。
• 通过映射中邻近神经元的值的平均值，迭代估计缺失值。
• 将插补过程整合进SOM学习规则，仅基于观测数据更新权重。
• 该方法保持了数据的拓扑结构，从而实现对缺失条目的稳定估计。
• 使用三个真实数据集验证该方法，通过聚类和数据一致性评估插补准确性。

实验结果

研究问题

• RQ1 Kohonen自组织映射能否有效估计不完整数据集中的缺失值？
• RQ2 基于SOM的插补方法在保持数据结构方面与传统插补方法相比如何？
• RQ3 基于SOM的插补方法对真实世界数据集中的聚类性能有何影响？
• RQ4 该方法在缺失值估计过程中在多大程度上保持了数据完整性和拓扑结构？

主要发现

• 基于SOM的方法通过利用数据中的邻域关系，成功估计了缺失值。
• 插补过程保持了原始数据的拓扑结构，支持有意义的聚类。
• 三个真实世界应用证明了该方法在无需预先数据处理的情况下有效处理缺失数据。
• 该方法在保持数据质量和实现准确下游分析方面优于基线方法。