[论文解读] Optimizing RAG Techniques for Automotive Industry PDF Chatbots: A Case Study with Locally Deployed Ollama Models

Fei Liu, Zejun Kang+1 more|arXiv (Cornell University)|Aug 12, 2024

AI in Service Interactions被引用 4

一句话总结

本文提出了一种针对本地部署的 Ollama 模型在汽车 PDF 聊天机器人中的多维检索增强生成（RAG）优化，通过改进 PDF 解析、检索和上下文压缩技术，提升了技术文档的处理效果。该方法在上下文精确度、召回率和答案忠实度方面实现了显著提升，尤其在专有汽车数据集上表现突出，通过自定义 Langchain 组件和基于 LangGraph 最佳实践构建的自 RAG 代理实现。

ABSTRACT

With the growing demand for offline PDF chatbots in automotive industrial production environments, optimizing the deployment of large language models (LLMs) in local, low-performance settings has become increasingly important. This study focuses on enhancing Retrieval-Augmented Generation (RAG) techniques for processing complex automotive industry documents using locally deployed Ollama models. Based on the Langchain framework, we propose a multi-dimensional optimization approach for Ollama's local RAG implementation. Our method addresses key challenges in automotive document processing, including multi-column layouts and technical specifications. We introduce improvements in PDF processing, retrieval mechanisms, and context compression, tailored to the unique characteristics of automotive industry documents. Additionally, we design custom classes supporting embedding pipelines and an agent supporting self-RAG based on LangGraph best practices. To evaluate our approach, we constructed a proprietary dataset comprising typical automotive industry documents, including technical reports and corporate regulations. We compared our optimized RAG model and self-RAG agent against a naive RAG baseline across three datasets: our automotive industry dataset, QReCC, and CoQA. Results demonstrate significant improvements in context precision, context recall, answer relevancy, and faithfulness, with particularly notable performance on the automotive industry dataset. Our optimization scheme provides an effective solution for deploying local RAG systems in the automotive sector, addressing the specific needs of PDF chatbots in industrial production environments. This research has important implications for advancing information processing and intelligent production in the automotive industry.

研究动机与目标

• 解决在计算资源有限的汽车生产环境中，部署可靠、离线运行的 LLM 驱动聊天机器人所面临的挑战。
• 克服汽车 PDF 中特有的文档复杂性，如多栏布局和专业技术规范。
• 通过本地部署的 LLM，优化面向工业文档的 RAG 管道中的检索与生成质量。
• 基于 LangGraph 最佳实践，设计并评估一个自 RAG 代理，以增强上下文推理能力和响应准确性。
• 利用专有技术报告和法规数据集，建立本地 RAG 性能在汽车领域的基准。

提出的方法

• 利用 Langchain 框架实现模块化 RAG 管道，集成用于 PDF 处理和嵌入的自定义组件。
• 通过布局感知技术增强 PDF 解析，以保留汽车文档中的多栏结构和技术内容。
• 通过结合技术术语和文档结构特性的混合检索策略，优化向量相似度搜索的检索效果。
• 应用上下文压缩技术，在保留 LLM 生成关键信息的同时减少 token 开销。
• 基于 LangGraph 设计自 RAG 代理，实现查询处理过程中的迭代推理与动态上下文优化。
• 在本地环境中集成由 Ollama 托管的 LLM，以确保工业场景下的数据隐私和低延迟推理。

实验结果

研究问题

• RQ1 如何利用本地部署的 LLM 优化复杂、多栏布局且包含技术规范的汽车 PDF 的 RAG 系统？
• RQ2 上下文压缩与检索增强在多大程度上提升了工业文档聊天机器人的答案精确度与召回率？
• RQ3 基于 LangGraph 的自 RAG 代理在处理多轮、上下文密集型查询时，相比标准 RAG 基线表现如何？
• RQ4 在 RAG 管道中应用领域特定优化后，可实现的忠实度与相关性提升程度如何？
• RQ5 优化后的 RAG 与自 RAG 模型在多样化基准（包括专有汽车数据集、QReCC 和 CoQA 数据集）上的表现如何比较？

主要发现

• 与原始 RAG 基线相比，优化后的 RAG 模型在专有汽车数据集上的上下文精确度和召回率显著提升。
• 答案相关性与忠实度指标得到显著改善，尤其在涉及技术规范和多部分文档结构的复杂查询中表现突出。
• 自 RAG 代理展现出更强的推理能力，在处理多步骤和上下文依赖型查询方面实现了可量化的性能提升。
• 性能增益在汽车专用数据集上最为明显，表明通过布局感知解析与检索实现了强大的领域适应能力。
• 系统在本地部署中保持了高效率与低延迟，证实其在工业生产环境实时应用的可行性。
• 在 QReCC 和 CoQA 上的定量结果确认了持续改进，但最大提升仍出现在领域特定数据集上。