[论文解读] Why Your IT Project Might Be Riskier Than You Think

Bent Flyvbjerg, Alexander Budzier|arXiv (Cornell University)|Mar 28, 2013

Big Data and Business Intelligence被引用 15

一句话总结

本文揭示，由于过度关注平均成本超支，IT项目的风险被显著低估。事实上，大量项目遭遇极端超支——即所谓的‘黑天鹅’事件——其中六分之一的项目面临超过200%的成本超支，近70%的项目出现进度延迟。作者认为，传统风险评估无法捕捉这些罕见但灾难性的异常值，因此主张将关注点从平均值转向尾部分布风险，以改善项目治理与决策。

ABSTRACT

Out-of-control information technology (IT) projects have ended the careers of top managers, such as EADS CEO Noel Forgeard and Levi Strauss' CIO David Bergen. Moreover, IT projects have brought down whole companies, like Kmart in the US and Auto Windscreen in the UK. Software and other IT is now such an integral part of most business processes and products that CEOs must know their IT risks, which are typically substantial and overlooked. The analysis of a sample of 1,471 IT projects showed that the average cost overrun was 27% - but that figure masks a far more alarming 'fat tail' risk. Fully one in six of the projects in the sample was a Black Swan, with a cost overrun of 200%, on average, and a schedule overrun of almost 70%. This highlights the true pitfall of IT change initiatives: It's not that they're particularly prone to high cost overruns on average - it is that there are a disproportionate number of Black Swans. By focusing on averages instead of the more damaging outliers, most managers and consultants have been missing the real risk in doing IT. In conclusion, the article outlines ideas as to what can be done to avoid Black Swans.

研究动机与目标

• 揭示IT项目中极端成本与进度超支的隐藏危险，这些风险在传统风险分析中被系统性低估。
• 挑战当前在IT项目评估中对平均绩效指标的依赖，这些指标掩盖了罕见但灾难性失败的真实风险。
• 强调‘黑天鹅’事件——即成本超支超过200%且进度延迟超过70%的项目——对组织成果的不成比例影响。
• 倡导在IT项目治理中实现风险管理模式的转变：从基于平均值的预测转向对尾部分布风险的警觉。
• 为高管和项目经理提供切实可行的见解，以识别并减轻IT项目绩效中最具破坏性的异常值。

提出的方法

• 对1,471个IT项目的大型数据集进行分析，以评估跨不同组织和行业的成本与进度超支情况。
• 运用统计分析识别超支分布，特别关注极端结果的‘肥尾’特征。
• 基于成本超支超过200%且进度超支超过70%的标准，将项目分类为‘黑天鹅’事件。
• 将平均超支（27%）与极端异常值的频率和严重性进行比较，以证明基于均值的指标对风险的误判。
• 应用行为与组织风险理论，解释为何管理者和顾问无法预见到黑天鹅结果。
• 开发以识别和准备应对高影响、低概率事件为核心的风险缓解策略，而非仅关注平均情景。

实验结果

研究问题

• RQ1 为何传统IT项目风险评估无法捕捉大规模IT项目中的真实风险水平？
• RQ2 IT项目中极端成本与进度超支的频率与严重性如何？它们与平均表现有何偏离？
• RQ3 ‘黑天鹅’事件（定义为成本超支超过200%且进度延迟超过70%）如何影响组织成果与高管决策？
• RQ4 IT项目规划与治理中，尾部分布风险被低估的系统性原因是什么？
• RQ5 风险管理体系的哪些实际变革可帮助组织预见并减轻灾难性的IT项目失败？

主要发现

• 在1,471个IT项目中，平均成本超支为27%，但该数值掩盖了更为严重的潜在风险分布。
• 六分之一的IT项目（约16.7%）被归类为黑天鹅事件，其平均成本超支达200%，进度超支接近70%。
• 这些极端异常值的存在——而非平均超支——才是威胁IT项目成功与组织稳定性的主要因素。
• 如EADS、Levi Strauss、Kmart和Auto Windscreen等知名失败案例，其根源正是此类黑天鹅事件，而非典型的成本超支。
• 管理者和顾问因过度关注均值表现，而持续忽视这些高影响异常值，导致风险被系统性低估。
• 项目失败的根本原因并非平均效率低下，而在于罕见极端事件的不成比例影响，而这些事件在标准预测模型中往往未被充分预判。