[论文解读] On the redundancy in large material datasets: efficient and robust learning with less data

Kangming Li, Daniel Persaud+4 more|arXiv (Cornell University)|Apr 25, 2023

Machine Learning in Materials Science参考文献 45被引用 6

一句话总结

本文表明，在大型材料数据集中，高达95%的数据可被移除而不会降低分布内机器学习性能，揭示了由于某些材料类型过度代表而导致的显著冗余。通过使用剪枝算法和基于不确定性的主动学习，作者证明了更小、更具信息量的数据集可实现相当或更优的鲁棒性，从而挑战材料数据科学中‘数据越大越好’的范式。

ABSTRACT

Extensive efforts to gather materials data have largely overlooked potential data redundancy. In this study, we present evidence of a significant degree of redundancy across multiple large datasets for various material properties, by revealing that up to 95 % of data can be safely removed from machine learning training with little impact on in-distribution prediction performance. The redundant data is related to over-represented material types and does not mitigate the severe performance degradation on out-of-distribution samples. In addition, we show that uncertainty-based active learning algorithms can construct much smaller but equally informative datasets. We discuss the effectiveness of informative data in improving prediction performance and robustness and provide insights into efficient data acquisition and machine learning training. This work challenges the "bigger is better" mentality and calls for attention to the information richness of materials data rather than a narrow emphasis on data volume.

研究动机与目标

• 调查在多个性质上，大型、广泛使用的材料数据集中数据冗余的程度。
• 评估经过剪枝的小型数据集是否能与完整数据集相比保持或提升机器学习模型的性能。
• 比较一种新型剪枝算法与基于不确定性的主动学习在材料机器学习中数据选择方面的有效性。
• 挑战普遍认为更大数据集总是产生更好模型的假设，强调信息丰富度而非单纯的数据量。
• 通过识别具有信息量且非冗余的数据点，指导高效的数据获取和模型训练。

提出的方法

• 一种剪枝算法通过迭代移除验证集上预测误差最低的数据点，仅保留训练集中最具信息量的样本。
• 该算法从完整数据集开始，每次迭代中从保留的20%验证子集里移除预测误差最低的样本，逐步减少训练集规模。
• 评估了三种机器学习模型：XGBoost、随机森林（Random Forest）和ALIGNN，所有训练集规模下均使用一致的超参数以确保公平比较。
• 基于不确定性的主动学习通过三种不确定度度量实现：随机森林预测百分位数、XGBoost实例级不确定度，以及随机森林与XGBoost之间的查询-委员会方差。
• 在分布内（ID）和分布外（OOD）测试集上评估性能，以衡量泛化能力和鲁棒性。
• 所用数据集包括Materials Project、OQMD等，并通过跨数据库映射确保更新的一致性。

Figure 1: Schematic of redundancy evaluation . a the dataset splits. b three prediction tasks to evaluate model performance and data redundancy.

实验结果

研究问题

• RQ1 在大型材料数据集中，数据可被减少到何种程度而不影响分布内预测性能？
• RQ2 观察到的冗余性原因是什么？是否与特定材料类型的过度代表有关？
• RQ3 基于预测误差的剪枝算法能否识别出一个小型但高度信息量的数据子集，以维持模型性能？
• RQ4 基于不确定性的主动学习与所提出的剪枝方法相比，在选择信息量数据方面表现如何？
• RQ5 具有信息量的数据子集在不同机器学习架构和材料性质之间可迁移的程度如何？

主要发现

• 在大型材料数据集中，高达95%的数据可被安全移除而不会显著降低分布内预测性能，表明存在巨大冗余。
• 冗余主要源于特定材料类型的过度代表，而非噪声或测量误差。
• 剪枝后的数据集不仅在分布内数据上保持高性能，且相比完整数据集对分布外样本表现出更强的鲁棒性。
• 基于不确定性的主动学习方法可构建出信息量相当但规模显著更小的数据集，优于随机采样。
• 具有信息量的数据子集可在不同机器学习架构（如RF、XGB、ALIGNN）之间良好迁移，但在显著不同的材料性质之间迁移能力较差。
• 本研究挑战了材料数据科学中‘数据越大越好’的思维定式，主张优先选择信息丰富而非单纯数据量大的数据。

Figure 2: RMSE on the ID test sets. a-c JARVIS18, MP18, and OQMD14 formation energy prediction. d-f JARVIS18, MP18, and OQMD14 band gap prediction. The random baseline results to for the XGB and RF (or ALIGNN) models are obtained by averaging over the results of 10 (or 5) random data selections for