[论文解读] Perspectives on Machine Learning from Psychology's Reproducibility Crisis

Samuel J. Bell, Onno P. Kampman|arXiv (Cornell University)|Apr 18, 2021

Mental Health Research Topics被引用 5

一句话总结

本文将心理学的可重复性危机与当前机器学习面临的挑战进行类比，倡导实施方法论改革，如预先注册、透明的假设检验和推断可重复性，以提升研究的严谨性。文章提议借鉴心理学实践——如可重复研究徽章和复制研究专题——以增强机器学习的可信度和理论发展。

ABSTRACT

In the early 2010s, a crisis of reproducibility rocked the field of psychology. Following a period of reflection, the field has responded with radical reform of its scientific practices. More recently, similar questions about the reproducibility of machine learning research have also come to the fore. In this short paper, we present select ideas from psychology's reformation, translating them into relevance for a machine learning audience.

研究动机与目标

• 通过审视心理学可重复性危机的教训，回应机器学习领域日益增长的可重复性担忧。
• 强调有缺陷的研究实践（如p值操控和HARKing）如何在心理学和机器学习中均损害科学有效性。
• 提出具体改革措施，如预先注册、公开代码与数据、可重复性徽章，以提升方法论和推断可重复性。
• 通过借鉴认知心理学的认知机制理论，推动机器学习中更强大理论框架的发展。
• 推动机器学习领域的文化转变，包括设立复制研究专题和透明度激励机制，以支持累积性科学进步。

提出的方法

• 采用预先注册，正式声明实验前的假设、实验设计和分析计划，以减少HARKing和p值操控。
• 区分方法论可重复性（重新运行代码）与推断可重复性（通过独立方法验证结论）。
• 在会议和期刊中实施可重复性徽章，以激励公开共享代码、数据和分析流程。
• 在机器学习会议上设立专门的复制研究专题，以在不访问原始代码的情况下测试关键发现的稳健性。
• 引入结构化的假设检验，包含可证伪的预测和预定义的超参数搜索空间，以减少研究者的自由度。
• 借鉴认知心理学的自上而下的理论框架，指导机器学习中的理论发展，即使缺乏第一性原理的理解。

实验结果

研究问题

• RQ1 机器学习如何借鉴心理学的改革措施，以提升其研究的可重复性和可信度？
• RQ2 预先注册在减少机器学习实验中的p值操控和HARKing方面发挥什么作用？
• RQ3 在无法访问原始代码或数据的情况下，如何在机器学习中实现推断可重复性？
• RQ4 可重复性徽章等激励措施在多大程度上能提升机器学习中的透明度和数据共享？
• RQ5 心理学的认知理论在多大程度上可指导机器学习中稳健、可泛化的理论发展？

主要发现

• 预先注册通过在数据收集前承诺研究假设和分析计划，显著降低了HARKing和p值操控的风险。
• 心理学研究中，可重复性徽章已将数据可用率从3%提升至39%，表明类似激励措施可能显著提升机器学习的透明度。
• 推断可重复性——即通过独立方法验证结论——对于建立超越代码级复制的可泛化发现至关重要。
• 如同心理学的Many Labs项目，不依赖原始材料的复制研究可有效检验机器学习中主张的稳健性。
• 机器学习中的理论框架通常无法提出可证伪的预测，这与心理学中的问题相似，亟需与实证发现更紧密整合。
• 文化转变，如设立复制研究专题和透明度激励机制，对于推动机器学习的累积性科学进步至关重要。