[论文解读] Quantifying the Unexpected: a scientific approach to Black Swans

Giordano De Marzo, Andrea Gabrielli+2 more|arXiv (Cornell University)|Jan 28, 2022

Complex Systems and Time Series Analysis被引用 4

一句话总结

本文提出一种定量框架，利用齐夫-曼德布罗特幂律分布及其上界截断点的动力学特性，将极端事件分类为白鸟、灰鸟或黑天鹅。通过定义新的度量指标‘黑度’，该框架将黑天鹅事件识别为同时超过观测最大值和估计上界截断点的事件，揭示了诸如土耳其航空981号班机空难和利昂内尔·梅西的进球数等事件之所以成为黑天鹅，是由于其潜在分布上界出现突然跃升。

ABSTRACT

Many natural and socio-economic systems are characterized by power-law distributions that make the occurrence of extreme events not negligible. Such events are sometimes referred to as Black Swans, but a quantitative definition of a Black Swan is still lacking. Here, by leveraging on the properties of Zipf-Mandelbrot law, we investigate the relations between such extreme events and the dynamics of the upper cutoff of the inherent distribution. This approach permits a quantification of extreme events and allows to classify them as White, Grey, or Black Swans. Our criterion is in accordance with some previous findings, but also allows us to spot new examples of Black Swans, such as Lionel Messi and the Turkish Airline Flight 981 disaster. The systematic and quantitative methodology we developed allows a scientific and immediate categorization of rare events, providing also new insight into the generative mechanism behind Black Swans.

研究动机与目标

• 解决复杂系统中黑天鹅事件缺乏定量定义的问题。
• 识别极端事件真正不可预测且高影响的条件，超越单纯的统计离群值。
• 开发一种科学的、基于数据的方法，将极端事件分类为白鸟、灰鸟或黑天鹅。
• 证明黑天鹅事件并非仅源于固有的幂律特性，而是源于此类分布上界截断点的非平稳动力学。
• 为社会经济与自然系统中的风险评估提供系统化、可复现的判据。

提出的方法

• 使用齐夫-曼德布罗特幂律分布对极端事件建模，以估计系统规模分布的固有上界截断点。
• 定义一种新度量指标‘黑度’，作为事件规模与估计上界截断点之比的函数，实现定量分类。
• 分析多个系统（如大流行病、灾难、金融指数）的历史数据，检测上界截断点随时间的变化跃迁。
• 利用置信区间与经验拟合方法，以统计可靠性估计上界截断点，尤其在数据采样不足的系统中。
• 通过将实际观测事件规模与估计上界截断点进行比较，将该框架应用于现实事件，判断其是否符合黑天鹅标准。
• 整合上下文因素（如技术进步、制度变革）以解释上界截断点的跃迁，实现对潜在黑天鹅事件的早期识别。

实验结果

研究问题

• RQ1 在幂律分布系统中，黑天鹅与灰鸟事件有何本质区别？这一区别如何实现科学量化？
• RQ2 在何种条件下，幂律分布上界截断点的跃迁会导致黑天鹅事件？
• RQ3 能否基于实证数据与统计建模，客观确认9·11事件或第一次世界大战等历史事件的黑天鹅属性？
• RQ4 系统历史数据的采样程度如何影响将黑天鹅误判为灰鸟事件的可能性？
• RQ5 基于当前的上界截断点估计值与置信区间，未来哪些极端事件可能被归类为黑天鹅？

主要发现

• 土耳其航空981号班机空难（造成346人死亡）被归类为黑天鹅事件，因其伤亡人数超过了基于1974年以前数据估计的200人上界截断点。
• 利昂内尔·梅西在西甲联赛的进球数被识别为黑天鹅事件，原因在于联赛球队数量增加导致其潜在分布上界截断点出现突然跃升。
• 1987年黑色星期一股市崩盘被归类为灰鸟事件，而非黑天鹅事件，因其未超过收益率分布的估计上界截断点。
• 对于意大利地震，若未来地震释放的能量达到1693年瓦迪诺托地震（7.32级）的1.23倍，将被归类为黑天鹅事件，因该分布采样充分。
• 在大流行病方面，若未来大流行病导致约58.1亿人死亡（即黑死病死亡人数的40倍），才可被归类为黑天鹅事件，原因在于历史数据采样不足。
• 该框架表明，像道琼斯指数和国内战争这类数据采样不足的系统，仅能产生灰鸟事件，因为任何极端事件均处于估计上界截断点的范围内。