[论文解读] Not quite unreasonable effectiveness of machine learning algorithms

Egor Illarionov, Roman Khudorozhkov|arXiv (Cornell University)|Apr 7, 2018

Anomaly Detection Techniques and Applications参考文献 3被引用 3

一句话总结

本文指出，MNIST 和 MIT-BIH 心房颤动等基准数据集上最先进机器学习模型的性能，主要由数据的低可变性和高模式相似性驱动，而非模型容量。研究显示，仅需 5–10% 的训练数据即可达到近似最优准确率，且学习到的特征可识别患者身份，揭示了标准度量方法无法捕捉的隐藏结构。

ABSTRACT

State-of-the-art machine learning algorithms demonstrate close to absolute performance in selected challenges. We provide arguments that the reason can be in low variability of the samples and high effectiveness in learning typical patterns. Due to this fact, standard performance metrics do not reveal model capacity and new metrics are required for the better understanding of state-of-the-art.

研究动机与目标

• 调查现代机器学习模型为何在 MNIST 和 MIT-BIH 心电图等标准基准上实现近乎完美的性能。
• 挑战高准确率反映模型容量的假设，主张数据结构在其中起主导作用。
• 证明数据点之间低样本可变性和高模式相似性可实现快速泛化。
• 表明标准评估度量无法揭示模型容量，因此需要新的评估框架。
• 提出在高度结构化的数据集上，若不深入分析数据复杂性和表征学习，模型性能可能具有误导性。

提出的方法

• 在 MNIST 上使用不同训练集大小训练 ResNet18、Inception v1 和全连接神经网络，以测量准确率饱和情况。
• 采用训练集比例的对数缩放，检测模型收敛的早期饱和点。
• 对训练后的模型应用全局最大池化，从心电图片段中提取特征向量以实现患者识别。
• 在心电图特征向量上训练随机森林分类器以预测患者身份，并以测试集性能作为模式一致性的代理指标。
• 在 MIT-BIH 心房颤动数据集上，通过不同训练集比例评估模型性能，使用宏平均 F1 分数。
• 通过在 100 个随机训练子集上测试并测量准确率分布，分析模型方差与泛化能力。

实验结果

研究问题

• RQ1 为何最先进模型在 MNIST 和 MIT-BIH 心房颤动等数据集上能达到接近 100% 的准确率？
• RQ2 高性能在多大程度上源于数据模式的低可变性，而非模型容量？
• RQ3 模型泛化是否可由数据中存在有限数量的主导模式来解释？
• RQ4 深度模型学习到的表征能否用于重建更高层级的数据结构，例如心电图信号中的患者身份？
• RQ5 为何标准评估度量无法揭示现代机器学习模型的真实容量？

主要发现

• 在 MNIST 数据集上，ResNet18 仅使用 7% 的训练数据（4.2K 个样本）即可实现超过 97% 的测试准确率，10% 时准确率达到 99%。
• 对于 Inception v1 模型，在所有 100 个随机选取的 10% 训练子集上均实现超过 97% 的准确率，表明对数据采样具有强鲁棒性。
• 在 MIT-BIH 心房颤动数据集上，F1 分数在训练数据占 25% 时即达到饱和，测试集 F1 分数达到 0.988。
• 在 ECG 模型的全局最大池化特征上训练的随机森林分类器，可实现 95% 的准确率以识别原始患者。
• 从 ECG 特征向量中识别患者的能力证实，数据模式高度一致且具有患者特异性，支持低可变性假设。
• 结果表明，标准度量如准确率和 F1 分数无法充分反映模型容量，尤其是在低可变性数据集上。