[论文解读] SmartBook: AI-Assisted Situation Report Generation for Intelligence Analysts

Revanth Gangi Reddy, Lee, Daniel+7 more|arXiv (Cornell University)|Mar 25, 2023

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

SmartBook 是一种新颖的 AI 框架，用于在复杂危机（如俄罗斯-乌克兰战争）背景下自动、结构化地生成态势报告。它利用多源新闻数据检测实时战略问题，将事件聚类为时间线，并生成基于事实、以假设驱动的摘要，战略相关性达 82%，战术实用性达 93%，显著减轻了分析师的工作负担，为专家报告提供了高保真度的基础。

ABSTRACT

Timely and comprehensive understanding of emerging events is crucial for effective decision-making; automating situation report generation can significantly reduce the time, effort, and cost for intelligence analysts. In this work, we identify intelligence analysts' practices and preferences for AI assistance in situation report generation to guide the design strategies for an effective, trust-building interface that aligns with their thought processes and needs. Next, we introduce SmartBook, an automated framework designed to generate situation reports from large volumes of news data, creating structured reports by automatically discovering event-related strategic questions. These reports include multiple hypotheses (claims), summarized and grounded to sources with factual evidence, to promote in-depth situation understanding. Our comprehensive evaluation of SmartBook, encompassing a user study alongside a content review with an editing study, reveals SmartBook's effectiveness in generating accurate and relevant situation reports. Qualitative evaluations indicate over 80% of questions probe for strategic information, and over 90% of summaries produce tactically useful content, being consistently favored over summaries from a large language model integrated with web search. The editing study reveals that minimal information is removed from the generated text (under 2.5%), suggesting that SmartBook provides analysts with a valuable foundation for situation reports

研究动机与目标

• 应对在快速演变的危机（如乌克兰-俄罗斯战争）中对及时、全面且可扩展的态势报告的迫切需求。
• 克服现有 NLP 和 LLM 方法在缺乏结构化战略意识和事实依据方面的局限性。
• 通过生成可重复使用、准确且结构化的报告基础，减少情报分析师的重复劳动。
• 通过自动识别相关战略问题并沿时间线聚类事件，提升报告的质量与一致性。
• 使分析师能够以极少编辑工作量（仅需删除 2.3% 的 token）在 AI 生成报告基础上构建最终情报产品，表明其输出具有高度保真度与实用性。

提出的方法

• 将态势报告生成视为一项新任务，要求输出具备结构化、时间线化特征，包含章节、战略问题和基于证据的摘要。
• 使用大语言模型从新闻流中检测实时、可操作的战略问题，替代模糊或过于复杂的手动设计问题。
• 应用多文档摘要和事实抽取技术，从多个新闻来源中识别并基于证据定位关键事实。
• 利用语义聚类与时间推理技术，将新闻主题聚类为连贯的事件时间线，实现报告在时间与主题上的有序组织。
• 为每个摘要部分集成证据关联机制，确保事实可追溯并支持相关主张。
• 实施具备验证意识的设计，对低置信度主张进行标记以供分析师审查，提升结果可靠性。

Figure 1: Figure showing an example from SmartBoook for the Ukraine-Russia Crisis. SmartBook is organized by timelines, with each timeline containing chapters and corresponding sections. The section headings are strategic questions with the section content being grounded summaries that are linked to

实验结果

研究问题

• RQ1 AI 能否自动检测并生成对危机事件理解具有战略相关性的问题，超越人工设计问题的模糊性与复杂性？
• RQ2 当基于多源新闻数据时，AI 生成的态势报告在事实准确性与完整性方面能达到何种程度？
• RQ3 专家分析师在最终情报产品中整合 AI 生成报告时，其编辑频率与信息增补程度如何？
• RQ4 与人工整理的报告相比，AI 生成报告中具有战略重要性与战术实用性的内容占比如何？
• RQ5 在高风险情报场景中，错误类型（如信息不全与幻觉）如何影响 AI 生成摘要的可靠性？

主要发现

• SmartBook 检测到的 82% 战略问题被专家评定为具有高度战略重要性，表明其与专家优先事项高度一致。
• 专家分析师评定 SmartBook 报告中 93% 的摘要部分具有战术实用性，证明其在作战规划中的实际价值。
• 分析师在修订 SmartBook 生成报告时仅删除了 2.3% 的 token，表明 AI 输出高度准确且需极少更正。
• 信息不全是最常见的错误类型（超过 50% 的摘要缺失关键信息），凸显在多样化来源中实现全面覆盖的挑战。
• 幻觉（即生成错误或无依据的主张）是显著问题，影响了相当比例的摘要，强调了改进事实验证机制的必要性。
• 该框架成功生成了及时、多源且可信的报告，优于缺乏实时知识与结构化输出能力的 LLM（如 ChatGPT）。

Figure 2: Overall workflow for constructing SmartBook . Given the articles corresponding to a specific timeline, the figure shows the process for obtaining the chapters, their section headings, and the corresponding section content.