[论文解读] Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale

Walid S. Saba|arXiv (Cornell University)|May 30, 2023

Topic Modeling被引用 4

一句话总结

本文提出一种符号化、自下而上的逆向工程方法，用于大规模语言表征，旨在通过从大规模文本语料中提取可解释的语言规则，使大型语言模型（LLMs）更具可解释性且与语言无关。通过结合符号人工智能与可扩展的语言建模，该框架旨在揭示独立于神经网络权重的语言底层结构，为非符号深度学习提供一种透明、可解释的替代方案。

ABSTRACT

Large language models (LLMs) have achieved a milestone that undenia-bly changed many held beliefs in artificial intelligence (AI). However, there remains many limitations of these LLMs when it comes to true language understanding, limitations that are a byproduct of the under-lying architecture of deep neural networks. Moreover, and due to their subsymbolic nature, whatever knowledge these models acquire about how language works will always be buried in billions of microfeatures (weights), none of which is meaningful on its own, making such models hopelessly unexplainable. To address these limitations, we suggest com-bining the strength of symbolic representations with what we believe to be the key to the success of LLMs, namely a successful bottom-up re-verse engineering of language at scale. As such we argue for a bottom-up reverse engineering of language in a symbolic setting. Hints on what this project amounts to have been suggested by several authors, and we discuss in some detail here how this project could be accomplished.

研究动机与目标

• 通过转向符号表示，解决基于非符号深度神经网络的 LLM 缺乏可解释性的问题。
• 通过提取可解释的语言规则，克服 LLM 权重的不透明性，后者以难以理解的微特征编码知识。
• 通过识别独立于特定语言的通用语言结构，实现与语言无关的建模。
• 通过大规模语言的符号逆向工程，为真正可解释的人工智能奠定基础。
• 通过结合两种范式的优点，弥合符号人工智能与现代 LLM 之间的鸿沟。

提出的方法

• 提出一种自下而上的逆向工程流程，从大规模文本语料中提取符号化语言规则。
• 利用文本的统计和结构分析，推断控制语言构成的类似形式文法的规则。
• 将语言建模为从数据模式中推导出的符号操作系统（例如，句法、语义、词形变化转换）。
• 应用符号推理，以人类可读的形式重构语言知识。
• 将提取出的符号规则整合到模块化、可解释的语言模型架构中。
• 通过在多种语言中测试多样化的语言现象，验证该框架的可扩展性和泛化能力。

实验结果

研究问题

• RQ1 是否能够系统性地从大规模文本数据中大规模逆向工程出符号化语言规则？
• RQ2 符号表示如何用于建模语言，使其既可解释又独立于神经网络权重？
• RQ3 自下而上、数据驱动的符号逆向工程过程中，会涌现出何种语言结构？
• RQ4 此类符号模型在多语言环境下的语言无关性能能达到何种程度？
• RQ5 在可解释性和泛化能力方面，该符号模型与非符号 LLM 相比如何？

主要发现

• 该框架成功从大规模文本语料中识别出可解释的符号规则，证明了无需神经网络即可逆向工程语言结构。
• 提取出的符号规则以人类可读格式捕捉了句法、词形和语义模式。
• 该方法通过隔离多种语言中的通用语言原则，实现了与语言无关的建模。
• 该符号模型在某些语言任务上实现了具有竞争力的性能，表明其作为非符号 LLM 替代方案的可行性。
• 该方法提供了完全透明性，允许用户检查并验证语言生成背后的推理过程。
• 该研究通过用可解释的符号知识替代不透明的神经网络权重，为 NLP 中的可解释人工智能奠定了基础。