[论文解读] Robust Classification of High Dimension Low Sample Size Data

Neclâ Gündüz, Ernest Fokoué|arXiv (Cornell University)|Jan 3, 2015

Advanced Statistical Methods and ModelsMathematics参考文献 24被引用 20

一句话总结

本文评估了高维低样本量（HDLSS）数据的鲁棒分类方法，比较了鲁棒判别分析、鲁棒主成分分析和随机森林等技术。尽管随机森林在设计上并非鲁棒，但在含污染的真实和模拟HDLSS数据集中，其预测准确率始终优于所有其他方法，展现出通过自助采样和变量选择实现的内在鲁棒性。

ABSTRACT

The robustification of pattern recognition techniques has been the subject of intense research in recent years. Despite the multiplicity of papers on the subject, very few articles have deeply explored the topic of robust classification in the high dimension low sample size context. In this work, we explore and compare the predictive performances of robust classification techniques with a special concentration on robust discriminant analysis and robust PCA applied to a wide variety of large $p$ small $n$ data sets. We also explore the performance of random forest by way of comparing and contrasting the differences single model methods and ensemble methods in this context. Our work reveals that Random Forest, although not inherently designed to be robust to outliers, substantially outperforms the existing techniques specifically designed to achieve robustness. Indeed, random forest emerges as the best predictively on both real life and simulated data.

研究动机与目标

• 评估并比较在 n ≪ p 的高维低样本量（HDLSS）数据设置下，鲁棒分类技术的预测性能。
• 研究污染和高维度对传统与鲁棒分类方法性能的影响。
• 评估集成方法如随机森林是否尽管未明确设计为鲁棒，但在含异常值的HDLSS环境中仍能实现更优的预测性能。
• 探讨投影追踪和鲁棒判别分析在多分类和高维场景中的局限性。
• 识别在真实世界HDLSS数据中，特别是癌症分类等生物医学应用中，最实用且鲁棒的分类技术。

提出的方法

• 采用重复交叉验证框架，通过 R 次重复来估计平均测试误差（AVTE），使用零一损失评估预测性能。
• 应用鲁棒分类技术，包括最小协方差确定（MCD）、投影追踪、SIMCA、正则化判别分析和鲁棒主成分分析（PCA）。
• 使用随机森林进行自助采样和随机特征子空间选择，以内在地降低异常值的影响并处理高维性。
• 在真实HDLSS数据集（前列腺、淋巴瘤、肺癌、结肠癌、白血病、脑癌）和受控污染水平的模拟数据上评估方法性能。
• 在模拟数据中，比较不同维度（p）、污染率（κ）和相关性结构（ρ）下的性能表现。
• 分析变量相关性和类别数量（G=2 或 G=3）对方法鲁棒性和预测准确率的影响。

实验结果

研究问题

• RQ1 在含污染的高维低样本量（HDLSS）数据中，鲁棒分类技术的性能如何？
• RQ2 随机森林尽管未明确设计为鲁棒，是否在含异常值的HDLSS环境中实现更优的预测性能？
• RQ3 为何投影追踪在多分类任务中失败，尽管其在高相关性下的二分类任务中表现成功？
• RQ4 随机森林中变量选择与自助采样相结合如何促进其在HDLSS数据中的鲁棒性？
• RQ5 在不同污染水平和维度下，SIMCA与基于MCD的方法相较于随机森林及其他鲁棒技术的相对性能如何？

主要发现

• 随机森林在所有真实和模拟HDLSS数据集中始终表现最佳或第二佳，从未出现最差表现。
• 在强污染的模拟数据中（g=2，ρ=0.75），随机森林实现了最低的平均测试误差，甚至优于MCD和投影追踪。
• 投影追踪仅在二分类且变量相关性高（ρ=0.75）时表现最佳，在多分类和低相关性设置下表现失败。
• SIMCA在强污染条件下表现良好，通常仅次于随机森林，表明其在污染HDLSS场景中具有很强的实用性。
• 鲁棒判别分析和基于PCA的方法在高维低样本量设置中效果有限，尤其在多分类数据中表现不佳。
• 随机森林中的自助机制本质上会排除约37%的训练样本（e⁻¹），这可能通过平均化异常值的影响而增强其抗异常值能力。