[论文解读] Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs

Walid S. Saba|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用 4

一句话总结

本文认为，随机性大规模语言模型（LLMs）由于其非符号性、基于权重的知识表征方式以及在事实推理中的固有不可靠性，缺乏真正的语言理解能力。为此，本文提出了一种符号性、基于本体论且可解释的替代性框架，通过在结构化、符号化的环境中对语言进行自下而上的逆向工程，实现可解释性与鲁棒推理。

ABSTRACT

In our opinion the exuberance surrounding the relative success of data-driven large language models (LLMs) is slightly misguided and for several reasons (i) LLMs cannot be relied upon for factual information since for LLMs all ingested text (factual or non-factual) was created equal; (ii) due to their subsymbolic na-ture, whatever 'knowledge' these models acquire about language will always be buried in billions of microfeatures (weights), none of which is meaningful on its own; and (iii) LLMs will often fail to make the correct inferences in several linguistic contexts (e.g., nominal compounds, copredication, quantifier scope ambi-guities, intensional contexts. Since we believe the relative success of data-driven large language models (LLMs) is not a reflection on the symbolic vs. subsymbol-ic debate but a reflection on applying the successful strategy of a bottom-up reverse engineering of language at scale, we suggest in this paper applying the effective bottom-up strategy in a symbolic setting resulting in symbolic, explainable, and ontologically grounded language models.

研究动机与目标

• 挑战一种假设，即数据驱动LLMs的成功反映了非符号方法相对于符号方法的优越性。
• 识别当前LLMs的核心局限，包括事实不可靠性、缺乏可解释性，以及在复杂语言推理中的失败。
• 倡导一种保留语言结构与意义的符号化方法，通过形式化本体论与基于规则的推理实现。
• 开发一种语言模型框架，使其具备可解释性、本体论基础，并能在模糊语言语境中实现正确推理。
• 将LLMs的成功重新诠释为非符号AI的验证，而应视为大规模自下而上语言建模能力的体现——如今这种能力可应用于符号化环境。

提出的方法

• 采用符号AI框架，将语言知识通过形式化本体论与逻辑规则表示，而非通过学习权重。
• 应用自下而上的逆向工程策略处理语言，类似于当前LLMs训练所采用的方法，但应用于符号化且可解释的架构中。
• 整合本体结构以对语义概念及其关系进行建模，确保知识表征的一致性与意义性。
• 利用符号推理机制执行推理，特别是在命名复合词、共指谓词与量词作用域歧义等复杂语言现象中。
• 通过使内部推理步骤透明且可追溯来确保可解释性，与神经网络参数更新的黑箱特性形成对比。
• 设计系统以基于逻辑一致性与本体验证，而非统计模式，来区分事实性与非事实性文本。

实验结果

研究问题

• RQ1 为何尽管表现优异，随机性LLMs仍无法可靠地表征或推理事实性知识？
• RQ2 符号化、基于本体论的语言模型是否能在复杂语言推理中实现比非符号LLMs更优的可解释性与准确性？
• RQ3 如何在不依赖神经参数调优的前提下，将大规模数据驱动语言建模的成功复制到符号化框架中？
• RQ4 符号模型在处理共指谓词与量词作用域歧义等语言现象时，相较于LLMs有何优势？
• RQ5 本体论建模在实现可靠且可解释的语言理解中起到何种作用？

主要发现

• 随机性LLMs无法被信赖用于事实准确性，因为它们将所有输入文本视为同等有效，无论其真实性或一致性如何。
• LLMs的非符号性质意味着单个权重在孤立状态下毫无意义，导致模型行为不透明且不可解释。
• LLMs在处理内涵性或模糊语言语境（如命名复合词或量词作用域歧义）时，常无法进行正确推理。
• 基于形式化本体论的符号模型可通过透明化内部逻辑与知识表征，实现可解释推理。
• 自下而上的符号化语言建模方法可复制数据驱动LLMs的可扩展性与成功，同时保持可解释性与语义一致性。
• 本体论建模使模型能够区分事实性与非事实性内容，并在推理中强制实现逻辑一致性，从而减少幻觉与错误传播。