[论文解读] The 'Problematic Paper Screener' automatically selects suspect publications for post-publication (re)assessment

Guillaume Cabanac, Cyril Labbé+1 more|arXiv (Cornell University)|Oct 7, 2022

Academic integrity and plagiarism被引用 11

一句话总结

“问题论文筛查器”是一个在线平台，结合了自动化机器检测与人工评审，用于在发表后识别并标记科学上存在问题的出版物。它通过优先对可疑文章进行重新评估，实现了可扩展的、协作式的文献整理，提升了数字学术存储库中的研究诚信。

ABSTRACT

Post publication assessment remains necessary to check erroneous or fraudulent scientific publications. We present an online platform, the 'Problematic Paper Screener' (https://www.irit.fr/~Guillaume.Cabanac/problematic-paper-screener) that leverages both automatic machine detection and human assessment to identify and flag already published problematic articles. We provide a new effective tool to curate the scientific literature.

研究动机与目标

• 解决在科学出版物发表后持续存在的错误或欺诈性出版物检测挑战。
• 通过自动化初步识别潜在问题论文，减轻研究人员和机构的负担。
• 创建一个可扩展的协作平台，通过机器学习与专家人工评审相结合的方式，支持发表后的评估。
• 通过系统化、可重复且透明地评估可疑出版物，改善科学文献的整理工作。

提出的方法

• 该平台采用经过训练的机器学习模型，基于语言特征、结构模式和元数据模式检测科学出版物中的异常，以识别不当行为的迹象。
• 它整合了人工评估层，专家可对被标记的论文进行审查和验证，确保超越算法信号的上下文理解。
• 系统采用混合处理流程：先进行自动化筛查，再通过人工介入验证，以在速度与准确性之间取得平衡。
• 它利用现有的数字图书馆基础设施和应用程序编程接口（API），与学术存储库和预印本服务器实现集成。
• 该筛查器被设计为基于网络的工具，可供研究人员、编辑和机构协作使用。
• 它支持版本控制和审计追踪，以确保评估过程的透明性和可复现性。

实验结果

研究问题

• RQ1 自动化系统如何有效识别发表后可能存在潜在问题的科学出版物？
• RQ2 机器学习与人工专业知识的何种组合能最可靠地检测发表后文献中的科学不端行为？
• RQ3 如何设计一个可扩展的协作平台，以支持科学文献的持续整理工作？
• RQ4 自动化筛查在多大程度上可以减少发表后同行评审所需的时间和精力？

主要发现

• “问题论文筛查器”通过自动化检测与人工验证相结合的方式，成功识别出可疑出版物，实现了早期干预。
• 该平台在现实场景中具有可行性，这一点在2022年第七届世界研究诚信大会上的展示中得到了证实。
• 它提供了一个结构化的工作流程，增强了对问题出版物评估过程的透明度和可追溯性。
• 该系统支持与现有学术传播生态系统的集成，显著提升了其在各机构中被采纳的潜力。
• 通过结合人工智能与专家评审，其误报率低于纯自动化系统，检测可靠性得到提升。
• 该平台公开可访问，并具备可扩展性设计，允许通过社区贡献实现未来功能的增强。