[论文解读] SSFF: Investigating LLM Predictive Capabilities for Startup Success through a Multi-Agent Framework with Enhanced Explainability and Performance

Xisen Wang, Yigit Ihlamur+1 more|arXiv (Cornell University)|May 29, 2024

Private Equity and Venture CapitalBusiness, Management and Accounting被引用 3

一句话总结

本文提出启动成功预测框架（SSFF），一种基于大语言模型（LLM）的多智能体系统，通过整合外部知识、预测性机器学习（随机森林、神经网络）和高级提示工程，自主评估早期阶段初创企业。该框架仅需极少的输入数据和实时市场情报，即可实现高精度、可解释的预测，其表现与专业风投机构相当。

ABSTRACT

LLM based agents have recently demonstrated strong potential in automating complex tasks, yet accurately predicting startup success remains an open challenge with few benchmarks and tailored frameworks. To address these limitations, we propose the Startup Success Forecasting Framework, an autonomous system that emulates the reasoning of venture capital analysts through a multi agent collaboration model. Our framework integrates traditional machine learning methods such as random forests and neural networks within a retrieval augmented generation framework composed of three interconnected modules: a prediction block, an analysis block, and an external knowledge block. We evaluate our framework and identify three main findings. First, by leveraging founder segmentation, startups led by L5 founders are 3.79 times more likely to succeed than those led by L1 founders. Second, baseline large language models consistently overpredict startup success and struggle under realistic class imbalances largely due to overreliance on founder claims. Third, our framework significantly enhances prediction accuracy, yielding a 108.3 percent relative improvement over GPT 4o mini and a 30.8 percent relative improvement over GPT 4o. These results demonstrate the value of a multi agent approach combined with discriminative machine learning in mitigating the limitations of standard large language model based prediction methods.

研究动机与目标

• 为解决自动化早期阶段初创企业评估的挑战，传统上依赖专家直觉且易受偏见影响。
• 通过结合结构化机器学习与大语言模型，克服其在预测可靠性方面的局限性（如幻觉现象和模糊语义）。
• 开发一种可扩展的自动化流水线，通过极少的创始人输入和实时外部数据提升预测准确性。
• 构建一种模块化、可解释的智能体架构，端到端模拟风投决策流程。
• 通过在统一框架中整合定性与定量评估，建立人工智能驱动风投分析的基准。

提出的方法

• SSFF采用三模块架构：预测模块（随机森林与神经网络）、分析师模块（使用前沿提示工程的LLM智能体，实现风投风格推理）、外部知识模块（实时数据检索）。
• 一名风投侦察智能体首先将初创企业输入整合为18个关键维度，实现对多个分析智能体的结构化支持。
• 该框架使用训练好的决策树模型，基于14个定制化问题生成初步成功预测。
• 通过创始人层级的聚类与分组，优化创始人特定洞察；同时，通过嵌入技术构建的创始人-项目契合度模型，计算量化契合度评分。
• 外部知识模块实时检索当前市场情报与新闻，为市场分析师与产品分析师提供数据增强。
• 首席分析师智能体整合所有输出，生成全面、可解释的报告，融合预测分析与战略洞察。

实验结果

研究问题

• RQ1 多智能体LLM框架是否能有效模拟风投机构在评估早期阶段初创企业时的推理过程，且仅需极少输入？
• RQ2 将传统机器学习（随机森林、神经网络）与LLM结合，相较于零样本LLM，能否显著提升预测准确性？
• RQ3 实时外部知识检索在多大程度上提升了初创企业成功预测的稳健性与相关性？
• RQ4 可解释人工智能组件（如决策树、聚类、基于嵌入的契合度评分）是否能增强自动化初创企业评估的透明度与可信度？
• RQ5 SSFF的模块化、基于智能体的设计在多大程度上支持可扩展性、适应性以及未来新数据源的集成？

主要发现

• SSFF在效率、分析全面性、深度、可靠性与及时性方面，显著优于零样本GPT响应。
• 该框架在多种初创企业案例中，预测准确性达到或超过经验丰富的风投分析师水平。
• 实时外部知识与市场情报的整合，显著提升了预测的相关性，并准确反映动态市场状况。
• 基于嵌入与优化技术的创始人-项目契合度模型，成功捕捉了与创始人背景及项目匹配度相关的独特成功模式。
• 模糊随机森林算法在处理初创企业数据中常见的不确定性与模糊输入方面，展现出新颖且高效的性能。
• 模块化架构支持未来可扩展性，包括与数据室、CRM系统及产品日志的集成，以实现更深入的尽职调查。