[论文解读] Unlocking Temporal Question Answering for Large Language Models with Tailor-Made Reasoning Logic

Xingxuan Li, Liying Cheng+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 5

一句话总结

该论文提出了一种混合框架，利用大语言模型（LLMs）进行上下文信息抽取，并结合外部Python求解器进行逻辑时间推理，在复杂的时间问答任务上显著提升了性能。该方法在TempReason和TimeQA等挑战性基准上的表现相比标准提示和思维链（CoT）基线模型，相对提升最高达39%。

ABSTRACT

The temporal aspect is a significant dimension of our reality. We notice the challenge that large language models (LLMs) face when engaging in temporal reasoning. Our preliminary experiments show that methods involving the generation of intermediate reasoning steps, such as chain-of-thought and program-aided language models, do not consistently boost the performance of complex temporal question-answering tasks. This limitation can be attributed to the LLMs' inadequate understanding of temporal information. To address this problem, we propose TempLogic, a novel framework designed specifically for temporal question-answering tasks across three levels of reasoning. TempLogic incorporates retrieval-guided context distillation, temporal data extraction, and tailor-made logic reasoning. Extensive experiments and analysis demonstrate the effectiveness of our framework in solving intricate time-bound reasoning tasks.

研究动机与目标

• 为解决思维链（CoT）提示在时间问答任务中因错误的中间推理步骤而导致的持续失败问题。
• 通过集成外部Python求解器以弥补大语言模型在时间理解方面的固有缺陷，实现逻辑推理。
• 提出一种更严格的评估指标——严格精确匹配（SEM），专门针对多答案时间问答任务设计。
• 证明将基于大语言模型的信息抽取与可执行代码推理相结合，可在时间推理基准上实现更优性能。

提出的方法

• 该框架利用大语言模型从自然语言上下文和问题中提取结构化时间信息（如日期、事件序列）。
• 提取的信息被转换为可执行的Python代码，用于建模时间关系和约束条件。
• 通过外部Python解释器执行代码，以推导出最终答案，确保逻辑正确性。
• 该方法将推理过程与自然语言生成解耦，减少了因中间步骤错误导致的误差。
• 引入严格精确匹配（SEM）指标，用于评估多答案时间问答场景下的正确性。
• 消融研究对比了启用与禁用代码执行时的性能，以验证求解器的必要性。

实验结果

研究问题

• RQ1 思维链提示在复杂的时间问答任务中是否能持续提升性能？
• RQ2 将基于大语言模型的信息抽取与外部代码执行相结合，能否提升时间问答中的推理准确性？
• RQ3 CoT提示中元素的顺序如何影响时间推理任务的性能？
• RQ4 与自然语言推理相比，使用可执行代码作为中间推理步骤的影响是什么？
• RQ5 所提出的严格精确匹配（SEM）指标在评估多答案时间问答任务时有多有效？

主要发现

• 与标准提示相比，该框架在L2 Single任务上性能提升21.2%，在L3 Single任务上最高提升达39%。
• 在L2 Multi任务中，该方法相比标准提示实现了32.17%的性能提升，显示出在多答案场景下的显著优势。
• 在TempReason上，思维链方法的表现甚至低于标准提示，某些提示顺序下SEM得分降至0.2%，表明其中间推理步骤不可靠。
• 消融研究显示，若禁用代码执行，L2 Single任务性能降至61.2%，L2 Multi任务降至33.8%，低于标准提示基线。
• 外部Python求解器至关重要——若无执行，该方法无法超越更简单的基线模型，证实其在确保逻辑正确性中的关键作用。
• 该框架能成功识别复杂时间问题中的多个正确答案，而CoT方法通常在首次匹配后即终止。