[论文解读] Predicting the Reproducibility of Social and Behavioral Science Papers Using Supervised Learning Models

Jian Wu, Rajal Nivargi+9 more|arXiv (Cornell University)|Apr 8, 2021

scientometrics and bibliometrics research参考文献 35被引用 11

一句话总结

本文提出FEXRep，一种监督机器学习框架，从139篇社会科学（SBS）论文中提取41项特征——包括文献计量、期刊、作者、统计和语义特征——以预测可重现性。通过ANOVA-F和互信息进行特征选择，前9项特征在SVM上的F1得分达到0.68，表明仅需极少人工干预，全局论文级特征即可有效预测可重现性。

ABSTRACT

In recent years, significant effort has been invested verifying the reproducibility and robustness of research claims in social and behavioral sciences (SBS), much of which has involved resource-intensive replication projects. In this paper, we investigate prediction of the reproducibility of SBS papers using machine learning methods based on a set of features. We propose a framework that extracts five types of features from scholarly work that can be used to support assessments of reproducibility of published research claims. Bibliometric features, venue features, and author features are collected from public APIs or extracted using open source machine learning libraries with customized parsers. Statistical features, such as p-values, are extracted by recognizing patterns in the body text. Semantic features, such as funding information, are obtained from public APIs or are extracted using natural language processing models. We analyze pairwise correlations between individual features and their importance for predicting a set of human-assessed ground truth labels. In doing so, we identify a subset of 9 top features that play relatively more important roles in predicting the reproducibility of SBS papers in our corpus. Results are verified by comparing performances of 10 supervised predictive classifiers trained on different sets of features.

研究动机与目标

• 开发一种可扩展、模块化的框架，用于从SBS研究论文中自动提取特征，以支持可重现性预测。
• 识别一组最小但高影响力的特征，以最佳预测SBS研究主张的可重现性。
• 评估多种监督分类器在不同特征子集（包括核心特征、缩减特征和前9项特征）上的性能。
• 评估特征标准化和缺失数据处理对模型鲁棒性和泛化能力的影响。
• 为计算工具提供基础，协助研究人员和期刊评估研究质量和透明度。

提出的方法

• FEXRep框架提取五类特征：文献计量（如引用次数）、期刊（如期刊声望）、作者（如发表历史）、统计（如通过模式识别提取的p值）和语义（如通过NLP提取的资助来源）。
• 特征通过公开API、自定义解析器和NLP模型提取，缺失值通过中位数（连续型）或众数（离散型）进行填补。
• 特征选择采用ANOVA-F和互信息（MI）对特征进行排序；ANOVA-F的前8项特征与MI中提取的citations_methodology合并，形成最终的9项最优特征集。
• 模型评估采用10种监督分类器（如SVM、随机森林、逻辑回归），在139篇论文语料库上进行重复分层5折交叉验证。
• 性能通过F1得分、精确率和召回率衡量，标准化采用最小-最大缩放：$X' = (X - X_{\text{min}})/(X_{\text{max}} - X_{\text{min}})$。
• 通过比较在核心特征、缩减特征和前9项特征上训练的模型，测试模型的鲁棒性，包括是否进行标准化处理。

实验结果

研究问题

• RQ1 从SBS论文中提取的哪些全局特征最能预测可重现性？
• RQ2 不同特征子集的引入如何影响监督学习模型在预测可重现性方面的性能？
• RQ3 特征标准化在多大程度上能提升模型在多种分类器上的泛化能力和性能？
• RQ4 一个小型、精心筛选的特征集能否在可重现性预测中优于更大的特征集？
• RQ5 缺失数据填补和特征选择技术如何影响模型的可靠性与方差估计？

主要发现

• 通过ANOVA-F和互信息筛选出的前9项特征，使SVM分类器达到最高的预测性能，F1得分为0.68。
• 当使用前9项特征训练时，SVM分类器在F1得分（0.68）和召回率（0.99）方面表现最佳，表明对可重现性主张具有强敏感性。
• QDA在使用标准化后的前9项特征时实现了最高的精确率（0.69），表明其在减少假阳性方面尤为有效。
• 在ANOVA-F前8项特征的基础上增加超过8项特征会略微降低模型性能，表明更大的特征集可能存在过拟合风险。
• 特征标准化在多个模型（如RF、MLP、NB）中提升了性能，但效果不一，QDA和KNN则出现轻微性能下降。
• 在大多数分类器中，前9项特征集的表现优于核心特征集和缩减特征集，表明特征选择有助于缓解过拟合并提升泛化能力。