[论文解读] Understanding Causality with Large Language Models: Feasibility and Opportunities

Cheng Zhang, Sebastian Bauer+9 more|arXiv (Cornell University)|Apr 11, 2023

Topic Modeling被引用 13

一句话总结

本论文评估大型语言模型在回答因果问题方面的能力，发现它们在处理已知知识（类型 1）方面相对合理，但在发现新知识或高精度、高风险的因果推理（类型 2 和 3）方面存在困难。它讨论未来方向，如因果模块和因果感知训练，以扩大影响力和信任。

ABSTRACT

We assess the ability of large language models (LLMs) to answer causal questions by analyzing their strengths and weaknesses against three types of causal question. We believe that current LLMs can answer causal questions with existing causal knowledge as combined domain experts. However, they are not yet able to provide satisfactory answers for discovering new knowledge or for high-stakes decision-making tasks with high precision. We discuss possible future directions and opportunities, such as enabling explicit and implicit causal modules as well as deep causal-aware LLMs. These will not only enable LLMs to answer many different types of causal questions for greater impact but also enable LLMs to be more trustworthy and efficient in general.

研究动机与目标

• 评估当前 LLMs 在三种类型（已知领域、发现、行动影响）下回答因果问题的能力
• 识别阻碍 LLMs 实现可靠高精度因果推理与高风险决策的局限性
• 提出未来方向，通过因果模块和新的训练范式提升信任度和适用性

提出的方法

• 将因果问题分为 Type 1（领域知识）、Type 2（来自数据的新知识）和 Type 3（定量行动影响）
• 使用示例和附录 A 结果评估 OpenAI 风格的 LLMs 在每种问题类型上的表现
• 讨论令牌生成模型的局限性以及外部因果方法或 API 的潜在作用
• 提出两个广泛方向：与 LLMs 集成的模块化因果组件和包含因果推理的新 RL 基础训练范式
• 回顾对因果 LLMs 的信任、可解释性和可扩展性考虑

实验结果

研究问题

• RQ1 当前的 LLMs 能否使用现有领域知识可靠回答 Type 1 因果问题？
• RQ2 LLMs 能否从数据中发现新的因果知识（Type 2）并建议合适的因果发现方法？
• RQ3 LLMs 能否为干预和个性化决策提供高精度、关乎高风险的因果建议（Type 3）？
• RQ4 有哪些可行路径（因果模块与新训练范式）来扩展 LLMs 的因果推理能力？

主要发现

• LLMs 使用现有知识很好地回答 Type 1 因果问题，尽管由于数据集偏见，可靠性可能不完美
• LLMs 在 Type 2 因果问题上表现挣扎，且在没有 API 访问和先进的因果 ML 的情况下，通常无法可靠地识别大多数合适的因果发现方法，尽管它们可以指出需要因果发现
• LLMs 无法直接执行高精度的 Type 3 因果推理，若缺乏适当的上下文或记忆增强，可能产生幻觉
• 引入因果模块或外部 API 可以帮助 LLMs 访问适当的因果工具，并通过逐步假设和输出提升信任
• 将模块化因果与新训练范式（如带有因果考虑的 RLHF）的结合方法，可能实现更广泛、更加安全、更加高效的因果推理