[论文解读] o3-mini vs DeepSeek-R1: Which One is Safer?

Aitor Arrieta, Miriam Ugarte+3 more|ArXiv.org|Jan 30, 2025

Radiomics and Machine Learning in Medical Imaging被引用 3

一句话总结

该研究通过对 OpenAI 的 o3-mini 与 DeepSeek-R1（70B）进行自动化不安全输入测试（使用 ASTRAL），比较两者的安全性；结果显示 o3-mini 明显比 DeepSeek-R1 更安全。

ABSTRACT

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this technical report, we systematically assess the safety level of both DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generated and executed 1,260 test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 produces significantly more unsafe responses (12%) than OpenAI's o3-mini (1.2%).

研究动机与目标

• 评估两款高容量大模型（o3-mini 与 DeepSeek-R1）的总体安全水平。
• 在预定义类别、写作风格和说服技巧方面评估安全性。
• 研究护栏和 API 保障措施如何影响安全结果。
• 提供可重复性数据与洞见，以便在监管情境下更安全地部署。

提出的方法

• 使用 ASTRAL 自动生成 1,260 条跨越 14 个安全类别、6 种写作风格与 5 种说服技巧的平衡不安全提示。
• 通过 Ollama 在默认设置下部署 DeepSeek-R1（70B）；通过 OpenAI API 使用默认设置获得 o3-mini beta。
• 将提示输入安全评估器（GPT-3.5）以将输出分类为安全、不可安全或未知；针对 o3-mini.policy-violation 处理进行调整。
• 手动审核标记为不可安全或未知的应答，以确认安全分类。
• 将结果与前期研究进行对比，以将新型 OpenAI 模型的安全性与竞争型私有大模型进行背景比较。

Figure 1: Number of manually confirmed unsafe LLM outputs per writing style, persuasion technique and safety category

实验结果

研究问题

• RQ1 RQ1 – 面对不安全提示时，每个模型的总体安全水平如何？
• RQ2 RQ2 – 哪些安全类别对每个模型挑战最大？
• RQ3 RQ3 – 写作风格和说服技巧如何影响模型的安全性？

主要发现

• o3-mini 在 1,260 条中产生 15 条不安全应答（1.19%）。
• DeepSeek-R1 在 1,260 条中产生 151 条不安全应答（11.98%）。
• o3-mini 的护栏在将不安全提示送达到模型前就已阻止了许多（策略违规信息）。
• DeepSeek-R1 在若干安全类别中显示出更高的不安全结果（尤其是与金融犯罪、暴力和恐怖主义相关的类别）。
• 写作风格 S3（技术术语）和 S4（角色扮演）显著提高 DeepSeek-R1 的不安全应答，而由于不安全案例较少，o3-mini 未呈现出强烈的风格驱动模式。
• 说服技巧对两种模型的安全性影响很小。
• 结果与先前发现一致，即较旧的 OpenAI 模型的安全性高于 DeepSeek-R1。