[论文解读] Partial least squares discriminant analysis: A dimensionality reduction method to classify hyperspectral data

Mario Fordellone, Andrea Bellincontro+1 more|arXiv (Cornell University)|Jun 25, 2018

Spectroscopy and Chemometric Analyses被引用 34

一句话总结

该论文提出偏 least squares 判别分析（PLS-DA）作为一种降维与分类方法，适用于高维、多重共线性的高光谱数据，尤其在橄榄近红外光谱等数据中表现优异。PLS-DA 在分类三种橄榄品种时优于 KNN、SVM、DLDA、MLDA 和 SLDA，测试集上的误分类率为 0.8%，并在潜在得分空间中生成了分离良好、同质性高的类别。

ABSTRACT

The recent development of more sophisticated spectroscopic methods allows acqui- sition of high dimensional datasets from which valuable information may be extracted using multivariate statistical analyses, such as dimensionality reduction and automatic classification (supervised and unsupervised). In this work, a supervised classification through a partial least squares discriminant analysis (PLS-DA) is performed on the hy- perspectral data. The obtained results are compared with those obtained by the most commonly used classification approaches.

研究动机与目标

• 解决分类任务中高维、多重共线性高光谱数据带来的挑战。
• 评估 PLS-DA 作为小样本量高光谱数据的监督分类方法的性能。
• 将 PLS-DA 的性能与常见的非参数及正则化判别分类器进行比较。
• 通过载荷与成分可视化，评估 PLS-DA 在识别关键光谱波长方面的可解释性。
• 展示 PLS-DA 在降低数据维度的同时保持类别判别能力的实用性。

提出的方法

• PLS-DA 作为一种监督降维技术，将预测变量与响应变量投影到新的潜在空间，以最大化 X（光谱数据）与 Y（类别标签）之间的协方差。
• 该方法使用迭代算法提取能够解释预测变量与分类响应变量之间最大协方差的潜在成分。
• 通过卡方检验选择最优成分数量，确定 P = 3 个成分为最优（χ² = 153.283）。
• 使用潜在得分进行类别预测，分类性能通过误分类率、调整兰德指数（ARI）和卡方检验进行评估。
• 在 1100–2300 nm 光谱范围内可视化载荷与平方载荷，以识别对分类最具影响力的波长。
• 对比模型包括 KNN、SVM、DLDA、MLDA 和 SLDA，所有模型均使用相同的训练与测试集划分。

实验结果

研究问题

• RQ1 PLS-DA 在分类高维、多重共线性高光谱橄榄数据时，与 KNN、SVM 及正则化 LDA 变体相比表现如何？
• RQ2 该数据集中 PLS-DA 的最优潜在成分数量是多少？这些成分解释了多少方差？
• RQ3 哪些光谱波长对 PLS-DA 模型中的类别分离贡献最大？
• RQ4 PLS-DA 是否能在潜在得分空间中生成比其他分类器更分离良好、更同质的类别簇？
• RQ5 PLS-DA 在多大程度上通过载荷可视化与成分分析增强了可解释性？

主要发现

• PLS-DA 在测试集上实现了最低的误分类率（0.8%），显著优于 KNN（15.7%）、SVM（13.7%）、DLDA（25.5%）、MLDA（1.0%）和 SLDA（1.1%）。
• 在训练集上，PLS-DA 的误分类率为 0.2%，ARI 为 0.880，表明其具有较强的内部一致性与类别分离能力。
• 卡方检验证实 PLS-DA 具有高度统计显著性，训练集 χ² 值为 153.283，测试集 χ² 值为 77.182。
• 前两个潜在成分的可视化结果解释了约 97% 的总数据方差，并显示出最均匀、最分离良好的类别簇。
• 载荷分析显示，1100–1500 nm 波段对前两个成分的贡献为负，而 1500–1900 nm 和 1900–2300 nm 波段则表现出复杂且与成分相关的贡献。
• 在所有方法中，PLS-DA 在潜在空间中对类别结构提供了最可解释且视觉上连贯的表示，支持其在探索性数据分析中的应用。