[论文解读] Size Matters: The Use and Misuse of Statistical Significance in Discrete Choice Models in the Transportation Academic Literature

Giancarlos Parady, Kay W. Axhausen|arXiv (Cornell University)|Aug 13, 2022

Economic and Environmental Valuation参考文献 23被引用 2

一句话总结

本文通过离散选择模型批判了交通研究中对统计显著性的过度依赖，揭示了其广泛误用：39%的研究仅根据系数符号判断结果，67%的研究混淆了统计显著性与实际显著性，且无一研究评估统计功效。作者提倡将关注点转向效应量、置信区间和政策相关效应大小，以提升研究对交通政策的影响。

ABSTRACT

In this paper we review the academic transportation literature published between 2014 and 2018 to evaluate where the field stands regarding the use and misuse of statistical significance in empirical analysis, with a focus on discrete choice models. Our results show that 39% of studies explained model results exclusively based on the sign of the coefficient, 67% of studies did not distinguish statistical significance from economic, policy or scientific significance in their conclusions, and none of the reviewed studies considered the statistical power of the tests. Based on these results we put forth a set of recommendations aimed at shifting the focus away from statistical significance towards proper and comprehensive assessment of effect magnitudes and other policy relevant quantities.

研究动机与目标

• 评估2014至2018年期间学术交通研究中统计显著性的使用与误用情况。
• 识别在离散选择建模中对统计显著性解释与应用的常见方法论缺陷。
• 解决已发表研究中对效应量、统计功效和政策相关性的忽视问题。
• 为改善交通研究中的实证报告标准提供可操作建议。
• 将研究实践重新导向更具有意义、基于政策的模型结果评估。

提出的方法

• 对2014–2018年期间通过Web of Science检索的95篇同行评审期刊文章进行系统性回顾，聚焦于交通领域的离散选择模型。
• 改编McCloskey与Ziliak的19项问题框架，以评估交通语境下的统计显著性实践。
• 采用修改后的评分系统，以“是”、“否”和“部分满意”作为响应，评估方法论严谨性。
• 重点关注关键指标：统计显著性与实际显著性的区分、效应量报告、置信区间以及统计功效。
• 从符合纳入标准的283篇文章中随机抽取34%作为样本，排除纯方法论或仅含模拟研究的文章。
• 强调政策相关变量，并要求至少包含三种核心选择维度之一：出行方式、路线或目的地选择。

实验结果

研究问题

• RQ1 交通研究在多大程度上区分了统计显著性与经济或政策显著性？
• RQ2 统计显著性作为解释模型结果的唯一标准被使用的频率如何？
• RQ3 有多少比例的研究报告了效应量、置信区间或用于大小解释的基准？
• RQ4 在交通研究中，统计功效在研究设计中被考虑或事后报告的频率如何？
• RQ5 研究在多大程度上将其效应估计值与现有文献进行比较，或以政策语境进行解释？

主要发现

• 39%的研究仅根据系数符号解释模型结果，忽略效应大小和不确定性。
• 67%的研究在其结论中未能区分统计显著性与经济、政策或科学显著性。
• 在所审查的95项研究中，无一考虑或报告其检验的统计功效。
• 仅4%的研究报告了模型中使用变量的描述性统计，损害了透明度与可复现性。
• 60%的研究含糊地使用“显著”一词，有时指统计显著性，有时指实际重要性。
• 绝大多数研究未报告效应量的置信区间，尽管其在传达不确定性与实际相关性方面具有重要价值。