[论文解读] Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning

Jingyao Wang, Peizheng Guo+5 more|arXiv (Cornell University)|Feb 6, 2026

Topic Modeling被引用 0

一句话总结

本论文在 GRPO 内提出 GC2PO，一种因果反事实奖励框架，通过最大化中间步骤的鲁棒性和表达能力来训练 LLMs 进行可泛化推理，而不仅仅追求最终正确性。

ABSTRACT

Large language models (LLMs) excel at complex tasks with advances in reasoning capabilities. However, existing reward mechanisms remain tightly coupled to final correctness and pay little attention to the underlying reasoning process: trajectories with sound reasoning but wrong answers receive low credit, while lucky guesses with flawed logic may be highly rewarded, affecting reasoning generalization. From a causal perspective, we interpret multi-candidate reasoning for a fixed question as a family of counterfactual experiments with theoretical supports. Building on this, we propose Group Causal Counterfactual Policy Optimization to explicitly train LLMs to learn generalizable reasoning patterns. It proposes an episodic causal counterfactual reward that jointly captures (i) robustness, encouraging the answer distribution induced by a reasoning step to remain stable under counterfactual perturbations; and (ii) effectiveness, enforcing sufficient variability so that the learned reasoning strategy can transfer across questions. We then construct token-level advantages from this reward and optimize the policy, encouraging LLMs to favor reasoning patterns that are process-valid and counterfactually robust. Extensive experiments on diverse benchmarks demonstrate its advantages.

研究动机与目标

• 通过将推理过程质量与最终正确性解耦，激发对大语言模型中可泛化推理的需求。
• 提出一个细粒度的 episodic 因果反事实奖励，用于评估推理的鲁棒性和表达能力。
• 开发一个面向 token 级的策略优化方法，利用 episodic 奖励学习可泛化的推理模式。
• 提供理论保证，将鲁棒性/表达能力与收敛到因果策略相关联。
• 在多样化的推理基准和模型规模上展示经验性提升。

提出的方法

• 将多候选推理解释为在共享外源噪声下的反事实实验（定理 2.1）。
• 将解题过程切分为代表连贯推理步骤的 episodic（基于提示的 Episode 标注）片段。
• 将 episodic 的因果反事实奖励定义为两项之和：稳定性（对潜在扰动的鲁棒性）和表达能力（非崩溃的具信息表示）（定理 3.1；3.2）。
• 通过将 episodic 奖励分配给 token 并在每个问题组内归一化，计算 token 级优势（式 4–7）。
• 使用类似 GRPO 的目标函数进行优化，平衡结果奖励与因果反事实奖励（式 8）。
• 给出鲁棒性保证：在适当条件下，最大化因果奖励可界定到目标因果策略的 KL 散度的上界（定理 3.2）。

实验结果

研究问题

• RQ1 如何通过将推理过程有效性与最终正确性解耦来提升 LLM 的推理泛化能力？
• RQ2 episodic 的因果反事实奖励是否能更好地捕捉在变化中的不变量推理模式？
• RQ3 在鲁棒性与表达能力的推理步骤优化是否能提升跨问题的迁移和泛化？
• RQ4 将 episodic 因果奖励与收敛到因果推理策略之间的理论保证是什么？
• RQ5 在多样化基准上的实证结果是否支持 GC2PO 相较于基于结果的和基于过程的奖励的优势？

主要发现

• GC2PO 在多个基准上相对于基于 GRPO 的和基于过程奖励的基线取得更优的 pass@1 表现。
• 提出的 episodic 因果反事实奖励通过奖励鲁棒且信息丰富的中间推理步骤来提升泛化能力，而不依赖于最终正确性。
• 来自 episodic 奖励的 token 级优势使学习到的可泛化推理模式在更少的 token 下实现。
• GC2PO 在模型规模（1.5B 到 7B）和多样数据集（AIME、AMC、MATH500、MinervaMATH、GSM8K、HumanEval）上表现出稳定的提升。
• 表 1 显示 GC2PO 在若干基线上的平均结果具备明显优势。
• 消融研究和训练稳定性分析支持鲁棒性/表达能力设计的有效性。