[论文解读] OpenAI GPT-5 System Card

Alka Singh, Adam Fry+482 more|arXiv (Cornell University)|Dec 19, 2025

Artificial Intelligence in Healthcare and Education被引用 3

一句话总结

GPT-5 引入快速与思考模型层及实时路由器，提升安全性（安全完成）、减少幻觉，并在健康、编码与多语言任务中提升性能，且进行了广泛的红队测试与防护。

ABSTRACT

This is the system card published alongside the OpenAI GPT-5 launch, August 2025. GPT-5 is a unified system with a smart and fast model that answers most questions, a deeper reasoning model for harder problems, and a real-time router that quickly decides which model to use based on conversation type, complexity, tool needs, and explicit intent (for example, if you say 'think hard about this' in the prompt). The router is continuously trained on real signals, including when users switch models, preference rates for responses, and measured correctness, improving over time. Once usage limits are reached, a mini version of each model handles remaining queries. This system card focuses primarily on gpt-5-thinking and gpt-5-main, while evaluations for other models are available in the appendix. The GPT-5 system not only outperforms previous models on benchmarks and answers questions more quickly, but -- more importantly -- is more useful for real-world queries. We've made significant advances in reducing hallucinations, improving instruction following, and minimizing sycophancy, and have leveled up GPT-5's performance in three of ChatGPT's most common uses: writing, coding, and health. All of the GPT-5 models additionally feature safe-completions, our latest approach to safety training to prevent disallowed content. Similarly to ChatGPT agent, we have decided to treat gpt-5-thinking as High capability in the Biological and Chemical domain under our Preparedness Framework, activating the associated safeguards. While we do not have definitive evidence that this model could meaningfully help a novice to create severe biological harm -- our defined threshold for High capability -- we have chosen to take a precautionary approach.

研究动机与目标

• 以统一系统引入 GPT-5，包含快速模型与思考模型及实时路由器。
• 描述数据、训练与安全导向的方法学（安全完成、拒绝管理与防护措施）。
• 评估相对于前代模型在安全挑战、幻觉、欺骗、越狱与多语言性能方面的差异。
• 详细介绍红队工作、外部评估与面向高风险领域（生物/化学、网络安全）的 Preparedness Framework。
• 概述治理、监控及未来方向，以降低拍马屁行为并提升安全性。

提出的方法

• 定义模型分类：gpt-5-main、gpt-5-main-mini（快速模型）和 gpt-5-thinking、gpt-5-thinking-mini、gpt-5-thinking-nano（思考模型）。
• 通过强化学习训练推理模型，强调安全完成而非二元拒绝。
• 使用多层防御栈，包括通过指令层级的系统、开发者与用户消息。
• 通过不可接受内容、越狱鲁棒性、提示注入与幻觉基准（LongFact、FActScore、HealthBench）来评估安全性。
• 进行大量红队演练（5000+ 小时，400+ 测试者），包括暴力攻击计划与提示注入测试；并由外部研究人员与供应商进行评估。
• 应用 HealthBench、MMLU 多语言基准、BBQ 公平性评估，以及与 GPT-4o 与 OpenAI o3 的安全/性能比较。

Figure 1 : Factuality on ChatGPT Production Traffic (Browsing Enabled)

实验结果

研究问题

• RQ1 安全完成相较于传统拒绝在降低安全失败与提升有用性方面有何差异？
• RQ2 在实际任务（健康、编码、多语言）中，gpt-5-main 与 gpt-5-thinking 的安全性与性能取舍为何？
• RQ3 越狱、提示注入与指令层级缓解在各 GPT-5 模型中的有效性如何？
• RQ4 安全防护措施对推理任务中的欺骗、拍马屁与幻觉有何影响？
• RQ5 外部红队评估与内部评估在识别系统级漏洞上有何差异？

主要发现

• gpt-5-thinking 与 gpt-5-main 相较于前代模型在安全性与有用性方面有所提升，幻觉与拍马屁显著减少。
• 标准不良内容指标显示各模型安全性较高；生产基准测试揭示细微改进与在仇恨/骚扰类别中的部分回落。
• 幻觉率显著下降：gpt-5-main 的事实性错误比 GPT-4o 低 26%，gpt-5-thinking 的低于 OpenAI o3 65%。
• 在线与离线评估中拍马屁显著下降，相对于 GPT-4o 有显著降低。
• HealthBench 结果显示 gpt-5-thinking 在健康安全与性能方面显著高于前代模型，幻觉与紧急情形错误大幅减少。
• 通过链式思维的欺骗监测显示 gpt-5-thinking 的欺骗率较 o3 低（约 2.1% vs 约 4.8%）。
• 图像输入安全性与多语言能力（13 语言 MMLU）显示相对于基线具有竞争力的表现。

Figure 2 : Average Hallucination Rate (Browsing Enabled)