[论文解读] Science and Technology Advance through Surprise

Feng Shi, James A. Evans|arXiv (Cornell University)|Oct 18, 2019

Technology Assessment and Management参考文献 17被引用 10

一句话总结

本文表明，科学与技术突破在很大程度上可由跨学科领域中问题、方法与情境的意外组合所带来的惊奇感所预测。通过使用数百万篇论文和专利的高维随机块模型嵌入，作者发现，出人意料的组合可预测高达50%的高影响力引用和重大奖项，大多数突破源于相距遥远的学科相互解决彼此的问题。

ABSTRACT

Breakthrough discoveries and inventions involve unexpected combinations of contents including problems, methods, and natural entities, and also diverse contexts such as journals, subfields, and conferences. Drawing on data from tens of millions of research papers, patents, and researchers, we construct models that predict next year's content and context combinations with an AUC of 95% based on embeddings constructed from high-dimensional stochastic block models, where the improbability of new combinations itself predicts up to 50% of the likelihood that they will gain outsized citations and major awards. Most of these breakthroughs occur when problems in one field are unexpectedly solved by researchers from a distant other. These findings demonstrate the critical role of surprise in advance, and enable evaluation of scientific institutions ranging from education and peer review to awards in supporting it.

研究动机与目标

• 探究惊奇感——即内容与情境的非概率组合——在推动科学与技术突破中的作用。
• 通过量化不同研究领域间内容-情境组合的不可能性，建立未来突破可能性的模型。
• 评估机构是否可基于其促进此类出人意料的高影响力组合的能力进行评估。
• 识别促成高影响力研究与创新的跨学科合作模式。
• 利用科学文献和专利的大规模数据，开发突破的预测框架。

提出的方法

• 从数千万篇研究论文、专利和研究人员数据中构建高维随机块模型，生成捕捉内容与情境的嵌入。
• 利用这些嵌入，以曲线下面积（AUC）95%的准确率预测下一年的内容-情境组合。
• 将“惊奇感”定义为给定内容-情境组合发生概率的倒数，基于模型预测结果。
• 通过将不可能的组合与引用次数及重大奖项的相关性，衡量惊奇感与影响力之间的关系。
• 通过识别来自遥远领域的研究人员意外解决某一领域问题的情况，追踪跨领域问题解决行为。
• 通过测试惊奇感预测高影响力成果（如重大奖项和引用激增）的能力，评估其预测能力。

实验结果

研究问题

• RQ1 内容-情境组合的不可能性在多大程度上可预测科学突破？
• RQ2 当来自遥远领域的研究人员解决其他领域的问题时，突破发生的频率如何？
• RQ3 是否可对惊奇感——即出人意料的组合——进行量化，并用于预测高影响力的研究成果？
• RQ4 跨学科联系在生成高影响力创新中发挥何种作用？
• RQ5 与传统指标相比，基于惊奇感的模型在预测未来引用和奖项方面表现如何？

主要发现

• 该模型以曲线下面积（AUC）95%的准确率预测了下一年的内容-情境组合，表明其具有强大的预测能力。
• 内容-情境组合的不可能性可预测高达50%的论文或专利获得高影响力引用或重大奖项的可能性。
• 大多数突破发生在某一领域的问题被来自遥远且无关领域的研究人员意外解决时。
• 惊奇感（以组合发生的逆概率衡量）是高影响力成果的重要预测指标，其预测力超越了传统指标。
• 研究揭示，跨学科联系，尤其是遥远领域之间的联系，对于产生变革性创新至关重要。
• 科学机构可基于其支持或促成此类出人意料的高影响力组合的能力进行评估。