[论文解读] Tree-GPT: Modular Large Language Model Expert System for Forest Remote Sensing Image Understanding and Interactive Analysis

Siqi Du, Shengjun Tang+3 more|arXiv (Cornell University)|Oct 7, 2023

Remote Sensing and LiDAR Applications被引用 4

一句话总结

Tree-GPT 是一个模块化的大型语言模型（LLM）专家系统，整合了图像理解、领域特定知识库和代码生成，实现了通过自然语言驱动对森林遥感图像的分析。通过利用分割一切模型（SAM）进行树木分割，并借助本地 LLM 代理执行代码，该系统在极少用户干预的情况下，实现了对单个树木参数和生态模式的精确、交互式且高效的分析。

ABSTRACT

This paper introduces a novel framework, Tree-GPT, which incorporates Large Language Models (LLMs) into the forestry remote sensing data workflow, thereby enhancing the efficiency of data analysis. Currently, LLMs are unable to extract or comprehend information from images and may generate inaccurate text due to a lack of domain knowledge, limiting their use in forestry data analysis. To address this issue, we propose a modular LLM expert system, Tree-GPT, that integrates image understanding modules, domain knowledge bases, and toolchains. This empowers LLMs with the ability to comprehend images, acquire accurate knowledge, generate code, and perform data analysis in a local environment. Specifically, the image understanding module extracts structured information from forest remote sensing images by utilizing automatic or interactive generation of prompts to guide the Segment Anything Model (SAM) in generating and selecting optimal tree segmentation results. The system then calculates tree structural parameters based on these results and stores them in a database. Upon receiving a specific natural language instruction, the LLM generates code based on a thought chain to accomplish the analysis task. The code is then executed by an LLM agent in a local environment and . For ecological parameter calculations, the system retrieves the corresponding knowledge from the knowledge base and inputs it into the LLM to guide the generation of accurate code. We tested this system on several tasks, including Search, Visualization, and Machine Learning Analysis. The prototype system performed well, demonstrating the potential for dynamic usage of LLMs in forestry research and environmental sciences.

研究动机与目标

• 解决通用 LLM 在理解森林遥感图像和生成准确领域特定知识方面的局限性。
• 减少林业研究中个体树木分割和生态参数分析所需的时间与专业知识。
• 开发一个模块化系统，集成图像理解、知识检索和代码生成，实现交互式、实时的数据分析。
• 使研究人员能够通过自然语言指令执行复杂的数据分析任务，如可视化、机器学习和统计建模。

提出的方法

• 系统使用分割一切模型（SAM），结合自动或交互式生成的提示，从高分辨率 RGB 和 LiDAR 数据中生成最优的树木分割结果。
• 从分割输出中提取树木结构参数（如树冠宽度、高度），并存储在结构化数据库中以供检索。
• 使用 Chroma 向量数据库和 FAISS 构建领域特定知识库，支持相似度搜索，实现阈值相似度为 0.6 的准确生态知识检索。
• LLM 执行代理使用 LangChain 将自然语言指令分解为子任务，生成代码，并在安全的本地环境中执行，以确保准确性和可重现性。
• 系统采用思维链提示技术，引导代码生成与验证，提升在统计建模和可视化等任务中的可靠性。
• 通过在 Chroma 数据库上进行语义搜索执行知识检索，检索到的文本块用作上下文，指导 LLM 生成准确且具有领域针对性的响应。

Figure 1: Overall Framework of the Tree-GPT.

实验结果

研究问题

• RQ1 模块化的 LLM 专家系统能否通过自然语言指令有效解读森林遥感图像，并提取个体树木的结构参数？
• RQ2 如何通过图像理解与领域特定知识增强 LLM，以减少幻觉并提高生态参数估算的准确性？
• RQ3 基于自然语言的代码生成在多大程度上可以替代林业遥感分析工作流中的传统编程？
• RQ4 图像分割、知识检索与代码执行的集成，能否实现对树级生态数据的交互式、实时分析？

主要发现

• Tree-GPT 在某些情况下实现了与人工标注相当甚至更优的分割结果，证明了在使用提示优化的 SAM 时，对个体树木树冠检测具有高精度。
• 对于简单任务，系统一次即可成功生成正确的可视化输出（如散点图、箱线图、树木生长图），复杂可视化仅需少量调整。
• 在生态参数估算方面，Tree-GPT 准确计算了树高高斯分布的参数，并以 RMSE 作为置信度度量，表现出可靠的统计分析性能。
• LLM 执行代理成功生成并执行了用于回归和分类等任务的机器学习代码，与手动编码相比显著缩短了分析时间。
• 在基于知识的查询中，系统表现出稳健性能，当相似度得分超过 0.6 时，能高效检索并解释生态概念，且相关性高。
• 在多任务评估中，Tree-GPT 成功通过自然语言指令处理了搜索、可视化和机器学习任务，证实其在环境研究中具备动态、交互式应用的潜力。

Figure 2: Visualization of individual tree crown(ITC) segmentation results. The first line shows tree crown segmentation results (segmentation in 2D). The second line shows individual tree point cloud segmentation results (3D segmentation by projecting 2D results to point cloud).