[论文解读] Over-optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results

Christina Nießl, Moritz Herrmann+3 more|arXiv (Cornell University)|Jun 4, 2021

Meta-analysis and systematic reviews参考文献 58被引用 38

一句话总结

本文展示了基准研究中的设计与分析选择（如数据集选择、性能度量和聚合方法）如何导致方法排名高度可变，从而引发过度乐观和有偏见的结论。作者利用多维展开方法，提出了一套系统性框架，以可视化并评估每项选择的影响，从而提升计算基准测试的透明度与可靠性。

ABSTRACT

In recent years, the need for neutral benchmark studies that focus on the comparison of methods from computational sciences has been increasingly recognised by the scientific community. While general advice on the design and analysis of neutral benchmark studies can be found in recent literature, certain amounts of flexibility always exist. This includes the choice of data sets and performance measures, the handling of missing performance values and the way the performance values are aggregated over the data sets. As a consequence of this flexibility, researchers may be concerned about how their choices affect the results or, in the worst case, may be tempted to engage in questionable research practices (e.g. the selective reporting of results or the post-hoc modification of design or analysis components) to fit their expectations or hopes. To raise awareness for this issue, we use an example benchmark study to illustrate how variable benchmark results can be when all possible combinations of a range of design and analysis options are considered. We then demonstrate how the impact of each choice on the results can be assessed using multidimensional unfolding. In conclusion, based on previous literature and on our illustrative example, we claim that the multiplicity of design and analysis options combined with questionable research practices lead to biased interpretations of benchmark results and to over-optimistic conclusions. This issue should be considered by computational researchers when designing and analysing their benchmark studies and by the scientific community in general in an effort towards more reliable benchmark results.

研究动机与目标

• 揭示由于设计与分析选择的灵活性，基准研究中存在过度乐观的风险。
• 说明不同设计与分析选项的组合如何显著改变方法排名。
• 提出一种基于多维展开的系统性框架，以评估各项选择对基准结果的影响。
• 倡导在基准研究中加强透明度、敏感性报告和预注册，以减少偏差。
• 通过鼓励代码与数据共享，促进计算研究的可重现性与可靠性。

提出的方法

• 作者以一个真实的基准研究作为案例，探索所有可能的设计与分析选项组合。
• 应用多维尺度分析（MDS）可视化不同设计与分析选择下方法排名的可变性。
• 该框架量化了每一项独立选择（如性能度量、数据集子集）对最终排名的影响。
• 该方法使研究人员能够识别出对结果影响最强的决策，从而实现有针对性的论证。
• 通过图形化展示排名在不同配置下的变化，支持敏感性分析。
• 该框架设计用于集成到基准研究中，以提升透明度并减少选择性报告。

实验结果

研究问题

• RQ1 不同的设计与分析选择组合如何影响基准研究中的方法排名？
• RQ2 在多大程度上，相同基准数据集会因方法论选择的不同而产生截然不同的结论？
• RQ3 哪些设计与分析选择对方法最终排名具有最显著的影响？
• RQ4 研究人员如何系统性地评估每一项选择对基准结果的影响？
• RQ5 哪些策略可减少过度乐观并提升基准结果的可靠性？

主要发现

• 相同的基准数据集，根据性能度量、数据集子集和聚合方法的选择不同，可能产生截然不同的方法排名。
• 多维展开方法能有效可视化排名对设计与分析决策的敏感性，揭示出驱动结果的关键决策。
• 某些选择（如性能度量或数据集组的选取）对方法排名具有不成比例的显著影响。
• 该框架使研究人员能够识别并合理化关键决策，降低事后合理化与选择性报告的风险。
• 研究表明，当研究人员无意识地偏好支持其预期的选择时，基准结果中的过度乐观风险真实存在。
• 作者结论认为，透明度、敏感性分析以及代码与数据共享是提升基准研究可靠性与可重现性的关键。