[论文解读] Unlocking Legal Knowledge with Multi-Layered Embedding-Based Retrieval

João Alberto de Oliveira Lima|arXiv (Cornell University)|Nov 12, 2024

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了一种基于多层嵌入的法律文本检索系统，能够捕捉法律文档在多个粒度层级上的语义含义——包括单个条文、条款、段落以及标题和章节等结构性分组。通过利用分层嵌入和语义分块技术，该方法显著提升了检索增强生成（RAG）系统的性能，在复杂查询需要深层上下文理解时，显著提高了法律信息检索的准确性和相关性。

ABSTRACT

This work addresses the challenge of capturing the complexities of legal knowledge by proposing a multi-layered embedding-based retrieval method for legal and legislative texts. Creating embeddings not only for individual articles but also for their components (paragraphs, clauses) and structural groupings (books, titles, chapters, etc), we seek to capture the subtleties of legal information through the use of dense vectors of embeddings, representing it at varying levels of granularity. Our method meets various information needs by allowing the Retrieval Augmented Generation system to provide accurate responses, whether for specific segments or entire sections, tailored to the user's query. We explore the concepts of aboutness, semantic chunking, and inherent hierarchy within legal texts, arguing that this method enhances the legal information retrieval. Despite the focus being on Brazil's legislative methods and the Brazilian Constitution, which follow a civil law tradition, our findings should in principle be applicable across different legal systems, including those adhering to common law traditions. Furthermore, the principles of the proposed method extend beyond the legal domain, offering valuable insights for organizing and retrieving information in any field characterized by information encoded in hierarchical text.

研究动机与目标

• 为解决在复杂法律法典（特别是巴西等大陆法系）中基于关键词搜索的局限性。
• 通过建模立法文本中多粒度层级的语义关系，提升法律信息检索的性能。
• 通过实现上下文感知的、多粒度的法律内容检索，增强检索增强生成（RAG）系统。
• 探讨语义主题（aboutness）、语义分块和固有层次结构在法律文本表征中的作用，以提升检索效果。
• 证明该方法在巴西法律之外的其他法律体系及层级化文本领域中的可迁移性。

提出的方法

• 该方法为法律文本的不同层级组件生成密集向量嵌入，包括单个条文、条款、段落以及结构性分组（如卷、标题、章）。
• 采用语义分块技术，在嵌入前将长文本分割为语义连贯的单元，以保持上下文完整性。
• 使用基于Transformer的模型计算嵌入，并通过算术平均实现分层聚合，以表示更大的文本部分。
• 系统采用语义主题建模，实现查询语义与不同粒度层级下相关文本段落之间的对齐。
• 通过查询嵌入与文档分块嵌入之间的向量相似度（如余弦相似度）执行检索。
• 检索到的分块随后被用作基于大语言模型（LLM）的RAG流程的上下文，以生成精确且上下文相关的法律回答。

实验结果

研究问题

• RQ1 多粒度嵌入在多大程度上能提升法律信息检索的准确性和相关性？
• RQ2 分层语义分块在复杂法律查询检索性能方面能带来多大程度的提升？
• RQ3 基于语义主题的检索能否改善用户查询与相关法律文本段落之间的对齐？
• RQ4 与平坦的、单粒度嵌入方法相比，多层检索在法律RAG系统中的表现如何？
• RQ5 该方法在多大程度上可迁移至不同的法律体系及层级化文本领域？

主要发现

• 多层方法实现了更高的检索相关性，多层RAG答案同时引用了巴西宪法第5条第LXXIV项和第134条，而平坦方法遗漏了第5条中的基础权利。
• 多层方法检索到7个关键分块（E），其相似度得分均≥0.367（针对Q8），包括关键的第5条第1款第LXXIV项（相似度：0.367759），而平坦方法未能检索到该内容。
• 平坦方法仅检索到8个分块，其中最相关的是第134条（相似度：0.367547），但未能包含第5条中的基础权利，表明其语义覆盖存在缺陷。
• 多层方法在上下文完整性方面表现更优，体现在同时包含了免费法律援助权（第5条第LXXIV项）和制度框架（第134条），从而生成了更全面的答案。
• 系统的分层结构使得既能检索到具体条款，也能检索到更广泛的制度框架，支持需要多层级理解的复杂查询。
• 该方法的设计支持向巴西大陆法系之外的体系迁移，具有在普通法系及其他层级化文本领域应用的潜力。