[论文解读] Startup success prediction and VC portfolio simulation using CrunchBase data

Mark Potanin, Andrey Chertok+2 more|arXiv (Cornell University)|Sep 27, 2023

Private Equity and Venture CapitalBusiness, Management and Accounting被引用 3

一句话总结

本文提出一种深度学习模型，利用 CrunchBase 数据预测种子轮/扩展轮（Series B/C）阶段的初创企业成功概率，整合融资指标、创始人特质和行业数据。该模型通过严格的风投投资组合回测模拟，实现14倍资本回报率，并在识别 Revolut 和 GitHub 等高潜力初创企业方面取得86%的AUC得分。

ABSTRACT

Predicting startup success presents a formidable challenge due to the inherently volatile landscape of the entrepreneurial ecosystem. The advent of extensive databases like Crunchbase jointly with available open data enables the application of machine learning and artificial intelligence for more accurate predictive analytics. This paper focuses on startups at their Series B and Series C investment stages, aiming to predict key success milestones such as achieving an Initial Public Offering (IPO), attaining unicorn status, or executing a successful Merger and Acquisition (M\&A). We introduce novel deep learning model for predicting startup success, integrating a variety of factors such as funding metrics, founder features, industry category. A distinctive feature of our research is the use of a comprehensive backtesting algorithm designed to simulate the venture capital investment process. This simulation allows for a robust evaluation of our model's performance against historical data, providing actionable insights into its practical utility in real-world investment contexts. Evaluating our model on Crunchbase's, we achieved a 14 times capital growth and successfully identified on B round high-potential startups including Revolut, DigitalOcean, Klarna, Github and others. Our empirical findings illuminate the importance of incorporating diverse feature sets in enhancing the model's predictive accuracy. In summary, our work demonstrates the considerable promise of deep learning models and alternative unstructured data in predicting startup success and sets the stage for future advancements in this research area.

研究动机与目标

• 通过机器学习提升对初创企业成功里程碑（如IPO、并购或独角兽地位）的预测准确性。
• 通过历史回测模拟真实世界风投基金运作，评估模型在实际投资情境中的表现。
• 整合异构数据源，包括融资历史、创始人特征和行业类别，以增强预测能力。
• 通过确保训练数据仅包含投资决策时可获得的信息，最大限度减少数据泄露。
• 通过模拟投资组合表现并识别潜在高增长初创企业，为风投机构提供可操作的洞察。

提出的方法

• 在包含34,470家初创企业的数据集上训练深度学习模型，使用融资轮次、创始人背景和行业类别等特征。
• 实施回测算法，通过预设标准和历史数据可用性，模拟基金投资决策过程。
• 应用严格的时序约束以防止数据泄露，确保仅使用各轮融资前可获得的信息进行训练。
• 定义投资规则：若公司估值低于10亿美元且未处于大规模融资轮次，则纳入投资组合；若估值达到25亿美元或连续三年无融资，则予以剔除。
• 通过资本回报率与ROC AUC指标计算投资组合表现，成功定义为IPO、并购或成为独角兽企业。
• 探索未来模型优化的替代数据源，如社交媒体、公司官网及投资者档案。

实验结果

研究问题

• RQ1 基于 CrunchBase 数据训练的深度学习模型能否准确预测种子轮/扩展轮阶段初创企业的成功里程碑（如IPO、并购或独角兽地位）？
• RQ2 对风投基金运作的回测模拟在评估初创企业预测模型真实世界表现方面有多高效？
• RQ3 相较于仅使用数值型特征，包含创始人层面和融资指标在内的多样化输入特征在多大程度上提升了预测准确性？
• RQ4 使用该模型的模拟风投基金具有何种经济影响？与传统依赖直觉的投资方式相比表现如何？
• RQ5 如何通过整合额外的非结构化数据（如社交媒体、公司官网）提升模型的预测能力与投资组合模拟的准确性？

主要发现

• 模型取得86%的ROC_AUC得分，表明其在区分成功与失败初创企业方面具备出色的判别能力。
• 模拟风投基金在2016–2021年回测期内实现14倍资本增长，展现出显著的经济潜力。
• 模型成功在关键里程碑前识别出 Revolut、DigitalOcean、Klarna 和 GitHub 等高潜力初创企业。
• 整合异构特征（包括创始人背景、投资者网络和融资历史）显著提升了预测准确性。
• 回测框架有效模拟了真实世界基金运作，同时避免了数据泄露，确保了对模型性能的公平且真实的评估。
• 未来改进可包括整合来自 LinkedIn、Twitter 和公司官网的文本数据，以及调整筛选条件以纳入更早成立的初创企业。